Dany Bregeon*,***, Jean-Yves Antoine*, Jeanne Villaneau** et Anaïs Halftermeyer***
*LIFAT (EA 6300), ICVL, Université de Tours
**IRISA (UMR 6074) D6-Expression,Université de Bretagne Sud
***LIFO, ICVL, Université d’Orléans
Résumé
Les mesures d’accord interannotateur sont utilisées en routine par le TAL pour évaluer
la fiabilité des annotations de référence. Pourtant, les seuils de confiance liés à cette estimation
relèvent d’opinions subjectives et n’ont fait l’objet d’aucune expérience de validation dédiée.
Dans cet article, nous présentons des résultats expérimentaux sur données réelles ou simulées
qui visent à proposer une interprétation des mesures d’accord en termes de stabilité de la référence
produite, sous la forme d’un taux moyen de variation de la référence entre différents
groupes d’annotateurs.
la fiabilité des annotations de référence. Pourtant, les seuils de confiance liés à cette estimation
relèvent d’opinions subjectives et n’ont fait l’objet d’aucune expérience de validation dédiée.
Dans cet article, nous présentons des résultats expérimentaux sur données réelles ou simulées
qui visent à proposer une interprétation des mesures d’accord en termes de stabilité de la référence
produite, sous la forme d’un taux moyen de variation de la référence entre différents
groupes d’annotateurs.
Résumé (en anglais)
Inter-coders agreement measures are used to assess the reliability of annotated corpora
in NLP. Now, the interpretation of these agreement measures in terms of reliability level
relies on pure subjective opinions that are not supported by any experimental validation. In this
paper, we present several experiments on real or simulated data that aim at providing a clear
interpretation of agreement measures in terms
in NLP. Now, the interpretation of these agreement measures in terms of reliability level
relies on pure subjective opinions that are not supported by any experimental validation. In this
paper, we present several experiments on real or simulated data that aim at providing a clear
interpretation of agreement measures in terms
Paru dans
Document
Rank
2