L’intelligence artificielle n’a jamais été autant mise en avant qu’en 2019. Mais si chaque projet émergeant se targue d’être propulsé par « de l’intelligence artificielle », le concept en lui-même n’existe pas, au sens strict. La science, qui considère l’intelligence artificielle comme un objectif loin d’être atteint, a été remplacée par le marketing qui considère n’importe quel algorithme comme un exemple d’IA. Mais dans les laboratoires propulsés par les géants du web, l’optimisme béat n’est pas la règle.
Dans un entretien au magazine Wired, Jerome Pesenti, vice-président dédié à l’intelligence artificielle pour Facebook, présente une image de la discipline loin de ce qu’on lit communiqué après communiqué. Si l’idéalisme ne le quitte pas, présentant la mission de son laboratoire comme « égaler l’intelligence humaine », Pesenti reconnaît humblement les limites des méthodes employées, et notamment celle de l’apprentissage profond (deep learning). « Certaines critiques contre le deep learning sont valides, affirme-t-il : il peut reproduire des biais humains, il n’est pas simple à expliquer, il n’a pas de sens commun… on est plus proche du niveau où l’on fait coïncider des motifs que de celui où l’on obtient une compréhension sémantique robuste ».
Yann LeCun.
Source : O'Reilly Internal
L’apprentissage profond, un mur ?
Cette méthode nous avait été décrite en février 2019 lors d’un déjeuner au laboratoire parisien de Facebook nommé FAIR, présenté par les scientifiques européens qui chapeautent ces avancées, Holger Schwenk en tête. L’apprentissage machine appliqué au langage, par exemple, est l’un de leurs défis : comment faire comprendre une langue humaine à un ordinateur ? Comment créer des structures suffisamment complexes pour qu’elles puissent recouvrir tous les cas de figure ? Et, plus difficile encore, comment faire en sorte qu’un modèle qui fonctionne dans une langue puisse aussi fonctionner dans une autre langue ?
C’est tout l’enjeu derrière l’apprentissage profond appliqué au langage : certaines langues ont des bases de données disponibles colossales pour entraîner des algorithmes quand d’autres manquent cruellement de ressources. Le programme informatique n’est intelligent que s’il sait appliquer à une langue peu utilisée et peu diffusée les mêmes conclusions qu’à l’anglais. Ou, mieux encore, tirer des modèles sans jeu de données.
L’entraînement non supervisé pour faire comprendre le sens d’une phrase à une IA sans utiliser de base de données // Source : Julien Cadot
Bien entendu, une vision romancée de l’IA projette de petits robots se mettant à lire des livres. La réalité est absolument mathématique : une IA, comme celle développée au FAIR, est un modèle géométrique qui positionne les mots sur des vecteurs et essaie d’en déduire un sens. Avec pour objectif à terme de se passer complètement de « langue pivot », comme l’anglais, si pratique pour mener des expériences, mais si unique également par le nombre de documents produits par l’esprit humain qui rendent la tâche des machines beaucoup plus simples.
Et ces limites du jeu de données qui nous avaient été exposées sont reprises par Jerome Pesenti : « Quand vous faites changer le deep learning d’échelle, il devient meilleur et peut résoudre de plus nombreuses tâches de manière plus efficace. Il y a donc un avantage indéniable à « scaler ». Mais notre besoin pour progresser est intenable. Tous les ans, le coût des expérimentations les plus complexes va être multiplié par 10. […] À un moment, nous allons nous prendre le mur en pleine face ». Cette crainte est simple à expliquer : l’apprentissage devient meilleur quand le jeu de données mis à sa disposition est plus grand et qu’une plus grande puissance de calcul est allouée à un projet. Et l’on ne peut ni exploser les budgets ni les limites de calcul de l’informatique.
Reste alors au champ d’études de l’intelligence artificielle basée sur l’apprentissage machine une direction à prendre : optimiser les calculs et rendre les expériences de moins en moins dépendantes des données. « Nous avons vraiment besoin de penser optimisation et de tirer le meilleur de chaque unité de chaque calcul que nous faisons ». Une écologie de la donnée qui nous avait été dévoilée au FAIR pour le langage : qu’il s’agisse du projet LASER ou des méthodes d’entraînement non supervisées, tout le travail de recherche est centré sur la réduction. Jusqu’à imaginer un programme capable de comprendre la structure des langues sans donnée labellisée pour s’entraîner.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Marre des réseaux sociaux ? Rejoignez-nous sur WhatsApp !
