Sylvie Gibet*
*IRISA, Université Bretagne Sud
Résumé
Nous présentons dans cet article un système de synthèse de mouvement multimodal qui produit de la langue des signes française (LSF) à partir d’énoncés textuels au moyen d’un personnage virtuel 3D appelé avatar signeur. Notre système SignCom s’appuie sur un principe de composition multicanale, chaque canal d’information étant associé à une information linguistique (depuis le niveau phonologique vers les niveaux lexical, syntaxique ou sémantique) ou articulatoire. La composition permet un agencement spatio-temporel de ces éléments qui s’exécutent en parallèle, et donne la possibilité d’éditer et de générer des phrases en LSF. Les nouveaux modules de synthèse qui enrichissent le système initial sont décrits. Ils incluent la synthèse de mouvement corporel et des mains ainsi que la synthèse faciale, et mettent en œuvre des dynamiques grammaticales propres à la LSF, en s’appuyant sur les concepts fondamentaux de spatialité et d’iconicité. Enfin, nous présentons les principaux défis technologiques qui restent à relever avant de conclure.
Résumé (en anglais)
In this paper, we present a multimodal synthesis system that translates text-to-LSF (French sign language) by means of a 3D virtual character, also called virtual signer. Our SignCom system is based on a multichannel composition mechanism, each channel being associated to linguistic information (from the phonological level to the lexical, syntactic or semantic levels), or to articulatory information. The composition is based on a spatio-temporal arrangement of these elements that are parallelized, and is able to edit and generate utterances in LSF. The new synthesis modules that enrich the initial system are described, including body movement synthesis, facial and hand movement synthesis. They implement grammatical dynamics specific to sign language, based on the fundamental concepts of spatiality and iconicity. Finally, we present the main technological challenges that remain before concluding.
Document
Rank
3