Le rôle des métriques d’évaluation dans le processus de recherche en TAL

Le traitement automatique des langues (TAL) relève à la fois de la démarche scientifique et de la démarche technologique. Dans les deux cas, l’évaluation des systèmes informatiques implémentés est indispensable pour estimer le succès d’une recherche. S’inspirant du cadre ISO pour l’évaluation des logiciels, et utilisant une typologie des systèmes de TAL fondée sur la place de la langue parmi les données d’entrée ou de sortie, cet article analyse le rôle central des métriques d’évaluation à plusieurs étapes du processus de recherche en TAL. L’accent est mis sur les métriques qui comparent un résultat produit avec des résultats corrects attendus. L’analyse de plusieurs situations d’évaluation, en particulier le cas des systèmes de traduction automatique, illustre l’importance d’un choix cohérent des métriques et de l’utilisation conjointe de plusieurs métriques. L’influence du contexte d’utilisation sur le choix des métriques et le cas des systèmes interactifs sont discutés en conclusion.