Accueil du site Accueil du site Adhésion Contact Plan du site

Learning word meanings from images of natural scenes

Ákos Kádár* - Afra Alishahi* - Grzegorz Chrupała*

* Tilburg Center for Cognition and Communication, Tilburg University

ABSTRACT. Children early on face the challenge of learning the meaning of words from noisy and ambiguous contexts. Utterances that guide their learning are emitted in complex scenes rendering the mapping between visual and linguistic cues difficult. A key challenge in computational modeling of the acquisition of word meanings is to provide representations of scenes that contain sources of information and statistical properties similar in complexity to natural data. We propose a novel computational model of cross-situational word learning that takes images of natural scenes paired with their descriptions as input and incrementally learns probabilistic associations between words and image features. Through a set of experiments we show that the model learns meaning representations that correlate with human similarity judgments, and that given an image of a scene it produces words conceptually related to the image.

RÉSUMÉ. Les enfants sont très tôt confrontés au défi d’apprendre la signification des mots à partir de contextes bruités et ambigus. Les énoncés qui guident leur apprentissage sont émis au sein de scènes complexes qui rendent l’appariement entre indices visuels et linguistiques difficile. Un défi important de la modélisation informatique de l’acquisition du sens des mots réside en la proposition de représentations de scènes contenant des sources d’information et des propriétés statistiques similaires en complexité à des données naturelles. Nous proposons un nouveau modèle d’apprentissage de mots inter-situationnel qui prend en entrée des images de scènes naturelles accompagnées de leurs descriptions et apprend incrémentalement des associations probabilistes entre mots et traits visuels. Nous montrons, à travers un ensemble d’expériences, que ce modèle apprend des représentations de sens corrélées aux jugements de similarité humains, et qu’il produit, pour une image de scène donnée, des mots qui lui sont conceptuellement liés.

Télécharger:
Fichier PDF
Ákos Kádár - Afra Alishahi - Grzegorz Chrupała
3.2 Mo

TAL Volume 55 2014 . 3. Traitement automatique du langage naturel et sciences cognitives / Natural Language Processing and Cognitive Sciences

Date de dernière mise à jour : 4 mai 2016, auteur : Rédacteurs en chef.