Accueil du site Accueil du site Adhésion Contact Plan du site

Principes de l’évaluation en Traitement Automatique des Langues

2006 Volume 48 Numéro 1.

Direction : Patrick Paroubek (LIMSI-CNRS), Stéphane Chaudiron (MdRNT /U. Lille 3), Lynette Hirschman (MITRE).

[English version of CFP below]

PREMIER APPEL

Comme en atteste l’existence de nombreuses publications traitant du sujet, l’emploi de méthodes d’évaluation est passé d’un sujet de controverse à une réalité indéniable, aussi bien dans le cycle de développement de systèmes de traitement automatique des langues (TAL) que pour la comparaison d’approches concernant une problématique particulière ou encore pour le développement et la maintenance de corpus.

L’emploi des méthodes d’évaluation n’est plus comme ce fut le cas un moment l’apanage d’une seule communauté, puisque ces méthodes sont maintenant employées aussi bien pour le traitement de l’oral, de l’écrit que du multimédia. Outre l’existence d’une conférence internationale spécialement dédiée à l’évaluation en Traitement Automatique des langues : LREC, il existe en France un programme national TECHNOLANGUE, qui transcende les barrières scientifiques, puisqu’il trouve des prolongements dans le domaine de la vision automatique avec le programme TECHNOVISION, où l’on retrouve des activités concernant le traitement de documents anciens et la reconnaissance d’écriture.

Dans ce numéro spécial de TAL nous nous intéressons aux principes fondamentaux qui sous-tendent l’emploi de méthodes d’évaluation pour le TAL. Nous voulons adopter un point de vue qui s’élève au-delà de l’horizon d’une campagne d’évaluation particulière, pour aborder de manière plus globale les problèmes que pose l’emploi de méthodes d’évaluations dans le cadre du traitement automatique des langues. Sans préjudice aucun, notre but n’est pas d’offrir ici une tribune supplémentaire aux articles qui par exemple relatent la participation d’un système à une campagne particulière ou bien comparent les mérites respectifs de différentes mesures dans l’évaluation d’une tâche donnée, mais d’aborder des sujets de fond concernant l’évaluation lorsqu’elle est mise en oeuvre pour le TAL.

THÈMES

Parmi les thèmes pertinents, on peut notamment citer sans limitation :

1) Les corpus dans le processus d’évaluation, leur utilisation, leur développement, la synergie qui s’organise autour de la paire : corpus - campagne d’évaluation.

2) L’évaluation comme outil de création et de maintenance des ressources linguistiques.

3) La question de la réutilisation de corpus "tout trouvés" pour l’évaluation, c’est à dire de corpus existants, annotés linguistiquement et qui peuvent être adaptés pour fournir des corpus richement annotés et "réalistes" avec des informations bruitées ou incomplètes.

4) Évaluer implique de comparer par rapport à un objectif, mais comment définir la référence ? En particulier, quid de son unicité (par ex. pour la traduction automatique) ?

5) Quels formalismes pour l’évaluation en TAL ?

6) Quelles sont les caractéristiques d’une évaluation pour le TAL ? Comparative, quantitative, qualitative... ?

7) Évaluation de technologie et évaluation centrée utilisateur, comment ces deux types d’évaluation sont perçus par la communauté TAL ?

8) Évaluation et progrès scientifique, par ex. les programmes d’évaluation en TAL.

9) La place de l’évaluation dans le processus scientifique en TAL.

10) Certains domaines du TAL (syntaxe, sémantique, traduction) se prêtent-ils mieux que d’autres à l’évaluation, mythe ou réalité ?

LANGUE

Les articles sont écrits en français ou en anglais. Les soumissions en anglais ne sont acceptées que pour les auteurs non francophones.

DATES IMPORTANTES

Nouvelle date limite de soumission : 15/12/2006 Décision du comité : 22/01/2007 Version révisée : 16/04/2007

FORMAT

Les articles (25 pages maximum, format PDF) seront envoyés au rédacteur invité suivant : Patrick Paroubek

Les feuilles de style à jour sont disponibles en ligne sur le site de la revue.

COMITE DE LECTURE SPÉCIFIQUE

-  Mohand Boughanem (IRIT)
-  Frédéric Béchet (LIA, U. Avignon)
-  Hervé Blanchon (IMAG)
-  Jean-Francois Bonastre (LIA, U. Avignon)
-  John Carroll (U. Sussex)
-  Gael de Chalendar (CEA, Fontenay aux roses)
-  Robert Gaizauskas (U. Sheffield)
-  Guillaume Gravier (IRISA)
-  Tony Hartley (U. of Leeds)
-  Lori Lamel (LIMSI-CNRS)
-  Dominique Laurent (Synapse)
-  Joseph Mariani (LIMSI-CNRS)
-  Jean-Luc Minel (Paris X)
-  Adeline Nazarenko (Paris XIII)
-  Andrei Popescu-Belis (ISSCO, Genève)
-  Gerard Sabah (LIMSI-CNRS)
-  Anne Vilnat (LIMSI-CNRS)
-  Claire Waast (EDF)
-  Bony Webber (U. of Edinburgh)


Principles of Evaluation in Natural Language Processing

SPECIAL ISSUE OF THE JOURNAL "TRAITEMENT AUTOMATIQUE DES LANGUES" (TAL)

Deadline for submission : 20th November 2006

GUEST EDITORS :
-  Patrick Paroubek (LIMSI-CNRS)
-  Stéphane Chaudiron (MdRNT /U. Lille 3)
-  Lynette Hirschman (MITRE)

FIRST CALL ANNOUNCEMENT

Just by looking at the number of publications about evaluation, it is clear that the usage of evaluation methods has become from being only a controversial topic to an undeniable fact. In Natural Language Processing (NLP), such methods are used now throughout System Development Life Cycle, for comparing different approaches about a given problem or even during corpus development and maintenance. The use of evaluation methods is not anymore restricted to a small community as it was for some time. Such practices are now encountered widely in processing of text, speech and even multimedia data. In addition to a special international conference about evaluation in NLP  : LREC, there exists in France a national program TECHNOLANGUE which transcends scientific barriers, since it has prolongations in artificial vision with the TECHNOVISION program, where we find evaluation activities about handwriting recognition and ancient document processing.

For this special issue of TAL, we invite papers about the fundamental principles that underlie the use of evaluation methods in NLP. We wish to adopt a higher point of view which goes beyond the horizon of a single evaluation campaign and have a more global approach about the problems raised by the deployment of evaluation in NLP. Without any prejudice, we do not wish to offer with this special issue yet another tribune to articles relating the participation of a system in a given evaluation campaign, or articles comparing the pros and cons of two metrics for assessing performance in a particular task. Our intend is to address more fundamental issues about the use of evaluation in NLP.

TOPICS

Specific topics include (but are not limited to) :

1) Corpora in the evaluation process, their use, the development life cycle, the synergy around the pair corpus - evaluation campaign,

2) Evaluation as a source of creation of linguistic resources. What help does it bring in maintaining existing resources ?

3) The question of re-using "found corpora" for evaluation, i.e. corpora that exist, with some level of annotation that can be adapted to provide rich "real world" corpora with somewhat noisy or incomplete annotations.

4) To evaluate implies to have a reference against which to gauge a performance, but how is defined the reference in NLP ? How should we deal with the problem that often the reference is not unique (e.g. in machine translation) ?

5) Which formalisms for evaluation in NLP ?

6) Which characteristics should evaluation have in NLP ? Comparative, quantitative, qualitative... evaluation ?

7) Technology Evaluation and User/Application Oriented Evaluation, how are these two different kinds of evaluation perceived by the NLP community ?

8) Evaluation and scientific progress, e.g. large scale evaluation programs in NLP.

9) Which role does evaluation plays in the NLP scientific process.

10) Some domains of NLP are reputed easier for evaluation that others (parsing, semantics, translation) myth or reality ?

THE JOURNAL

(see http://www.atala.org/ ) The journal TAL (Traitement Automatique des Langues) is an international journal published since 1960 by ATALA (Association pour le Traitement Automatique des Langues) with the help of CNRS. It is now becoming available in electronic form, with print on demand. The reading and selection process remain unchanged.

LANGUAGE

Articles are written in French or in English. Submissions in English are only accepted for non-native speakers of French.

IMPORTANT DATES.

New submission Deadline : 15/12/2006 Acceptance Notification : 22/01/2007 Revised Final Version : 16/04/2007

FORMAT

Articles (25 pages maximum, PDF format) will be sent to : Patrick Paroubek

Up-to-date style sheets are available online on the Web site of the journal.

SPECIAL ISSUE EDITORIAL BOARD

-  Mohand Boughanem (IRIT)
-  Frédéric Béchet (LIA, U. Avignon)
-  Hervé Blanchon (IMAG)
-  Jean-Francois Bonastre (LIA, U. Avignon)
-  John Carroll (U. Sussex)
-  Gael de Chalendar (CEA, Fontenay aux roses)
-  Robert Gaizauskas (U. Sheffield)
-  Guillaume Gravier (IRISA)
-  Tony Hartley (U. of Leeds)
-  Lori Lamel (LIMSI-CNRS)
-  Dominique Laurent (Synapse)
-  Joseph Mariani (LIMSI-CNRS)
-  Jean-Luc Minel (Paris X)
-  Adeline Nazarenko (Paris XIII)
-  Andrei Popescu-Belis (ISSCO, Geneva)
-  Gerard Sabah (LIMSI-CNRS)
-  Anne Vilnat (LIMSI-CNRS)
-  Claire Waast (EDF)
-  Bony Webber (U. of Edinburgh)


Date de dernière mise à jour : 21 janvier 2008, auteur : Béatrice Daille, Rédacteurs en chef.