Modèles et méthodes de traitement d’images pour l’analyse de la langue des signes

Cet article s’intéresse aux méthodes de traitement informatique des vidéos en langue des signes (LS). Dans une première partie, nous présentons une méthode de suivi robuste. Elle détecte et suit les mains et le visage d’une personne en train de signer. Elle utilise un modèle de couleur de la peau et trois filtres à particules pour suivre les mains et la tête, avec des étapes de rééchantillonnage et de recuit simulé pour améliorer leur robustesse aux occultations et aux grandes variations de dynamique des gestes, fréquentes en LS. Les évaluations des filtres mettent en valeur les améliorations apportées par ces étapes. La seconde partie présente des modèles de la LS pour exploiter ces résultats. Un modèle d’espace de signation et un modèle de construction de cet espace permettent de rendre compte de la structure spatiale de l’énoncé signé. Nous exposons plusieurs pistes pour réaliser une segmentation automatique des signes. Nous concluons sur un ensemble d’applications et de perspectives rendues possibles par ces méthodes.