Trois expériences d’évaluation dans le cadre du développement d’un système d’alignement sous-phrastique

Nous présentons la démarche que nous avons adoptée pour mener à bien une évaluation système dans le contexte du développement d’un système d’alignement sous-phrastique, ALIBI. À cet égard, nous examinons trois procédures d’évaluation qui correspondent à des aspects fondamentaux de la mise au point de systèmes de traitement automatique des langues : une évaluation par annotation des sorties du système qui permet d’observer le comportement de chaque composante prise isolément, une évaluation avec des références multicorpus qui permet d’observer le comportement d’un système selon le type de corpus qu’il prend en entrée et une évaluation avec une référence standard disponible publiquement qui permet d’observer son comportement par rapport à des outils de même famille. Nous décrivons chaque expérience d’évaluation et faisons le point sur la nature des résultats qu’elle fournit ainsi que leurs apports.