Accueil du site Accueil du site Adhésion Contact Plan du site

Le rôle des métriques d’évaluation dans le processus de recherche en TAL

Andrei Popescu-Belis

IDIAP Research Institute
Centre du Parc
Avenue des Prés-Beudin 20
Case postale 592
CH-1920 Martigny
Suisse
andrei.popescu-belis@idiap.ch

Le traitement automatique des langues (TAL) relève à la fois de la démarche scientifique et de la démarche technologique. Dans les deux cas, l’évaluation des systèmes informatiques implémentés est indispensable pour estimer le succès d’une recherche. S’inspirant du cadre ISO pour l’évaluation des logiciels, et utilisant une typologie des systèmes de TAL fondée sur la place de la langue parmi les données d’entrée ou de sortie, cet article analyse le rôle central des métriques d’évaluation à plusieurs étapes du processus de recherche en TAL. L’accent est mis sur les métriques qui comparent un résultat produit avec des résultats corrects attendus. L’analyse de plusieurs situations d’évaluation, en particulier le cas des systèmes de traduction automatique, illustre l’importance d’un choix cohérent des métriques et de l’utilisation conjointe de plusieurs métriques. L’influence du contexte d’utilisation sur le choix des métriques et le cas des systèmes interactifs sont discutés en conclusion.


Télécharger:
Fichier PDF
Andrei Popescu-Belis
209.1 ko

TAL Volume 48 2007 . 1. Principes de l’évaluation en Traitement Automatique des Langues

Date de dernière mise à jour : 7 mai 2008, auteur : Rédacteurs en chef.