SemEval est une série d'ateliers internationaux de recherche sur le traitement du langage naturel (NLP) dont la mission est de faire progresser l'état actuel de l'art en matière d'analyse sémantique et d'aider à créer des ensembles de données annotées de haute qualité dans une série de problèmes de plus en plus difficiles en matière de sémantique du langage naturel. Chaque année, l'atelier présente un ensemble de tâches partagées dans lesquelles des systèmes d'analyse sémantique computationnelle conçus par différentes équipes sont présentés et comparés.
La 16e édition de SemEval présente 12 TACHES sur une série de sujets, notamment des tâches sur la détection et l'incorporation d'expressions idiomatiques, la détection de sarcasmes, la similarité des nouvelles multilingues et l'association de symboles mathématiques à leurs descriptions. Plusieurs tâches sont multilingues et d'autres font appel à des approches multimodales.
Les membres de notre équipe choisissent deux tâches dans la liste des 12 tâches :
- Tâche 1 : CODWOE - Comparaison de dictionnaires et de WOrd Embeddings: La tâche partagée CODWOE invite à comparer deux types de descriptions sémantiques : les gloses de dictionnaires et les représentations par encastrement de mots. Ces deux types de représentation sont-ils équivalents ? Peut-on générer l'une à partir de l'autre ?
- Tâche 8 : Similitude des articles de presse multilingues: La différence avec la similarité des documents telle qu'elle est habituellement conçue : Ici, nous nous intéressons aux événements du monde réel couverts par les articles d'actualité, et non à leur style d'écriture, à leur orientation politique, à leur ton ou à toute autre "décision de conception" plus subjective imposée par un média/émetteur. Les principales sous-dimensions de similarité sont la géolocalisation, le temps, les entités partagées et les récits partagés. Cela permet d'évaluer dans quelle mesure les points de vente écrivent sur "les mêmes choses".
Ils ont choisi ces tâches car elles sont directement liées à plusieurs rencontres problématiques dans le DRIT sur la représentation sémantique des éléments textuels.
Le calendrier est le suivant :
- 10 janvier 2022 : début de l'évaluation.
- 31 janvier 2022 : Fin de l'évaluation
- 23 février 2022 : Soumission des articles scientifiques
- 31 mars 2022 : Notification aux auteurs
Si l'équipe est sélectionnée, elle aura l'occasion de participer à l'événement. NAACL (Conférence annuelle du chapitre nord-américain de l'Association for Computational Linguistics (ACL)) planifie un atelier pour l'été 2022 à Seattle, Washington. Une excellente occasion de rencontrer d'autres scientifiques du monde entier et d'échanger des connaissances.
Les membres de notre équipe qui participent à ce défi sont Mokhtar Boumedyen BILLAMI, Christophe BORTOLASO, Sébastien DUFOUR, Camille GOSSET, Julien BRETON, Mehdi KANDI, Youssef MILOUDI, Lina NICOLAIEFFKarim BOUTAMINE et Nihed BENDAHMAN.
