Pour développer le logiciel le plus efficace en matière de lecture labiale, Google et les chercheurs d’Oxford ont utilisé la télévision pour trouver les données nécessaires à l’apprentissage de la machine. Ainsi, Google DeepMind a consommé des milliers de programmes télévisés afin d’apprendre comment les humains distordent leurs lèvres au son des mots qu’ils prononcent.
Le réseau neuronal s’est ainsi plongé dans les programmes de la BBC et a essayé de sous-titrer les vidéos qu’il voyait. L’étude qui résulte de l’expérience montre qu’avec cette session d’apprentissage, DeepMind est capable de traduire avec justesse 46,8 % des mots prononcés.
En comparaison, il est important de noter qu’un professionnel de la lecture labiale ne parvient à déchiffrer que 12,6 % des mots en moyenne.
Le programme de l’IA de Google dépasse donc désormais les compétences humaines lorsqu’il s’agît de lire sur les lèvres. Avec plus de 5 000 heures de télévision à son actif, Watch, Listen, Attend, and Spell est désormais entraîné.
Lorsque l’IA regardait Newsnight, Question Time et The World Today, elle est parvenue à comprendre 110 000 phrases différentes et approximativement 17 500 mots. On peut dès lors imaginer que DeepMind serait déjà capable de sous-titrer, au moins partiellement, l’essentiel des talk-show anglophones. Enfin, il faudra pour cela que chaque mot soit dit face caméra, bien entendu.
DeepMind était capable de traduire avec justesse 46,8 % des mots prononcés
Bien sûr, le logiciel pourrait naturellement aider les malentendants à s’atteler à cette tâche sophistiquée de la lecture labiale. Mais on peut également déjà imaginer voir le moteur de reconnaissance labial être utilisé pour compléter et améliorer les moteurs de reconnaissances vocales déjà utilisés dans Google Home par exemple.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !
