Les IA du futur : qu’est-ce qu’un « modèle d’avant-garde » (frontier model) ?

C’est une formule qui est amenée à prendre de l’ampleur, et qui est en train de percer à la faveur d’une actualité récente. Ce mercredi 26 juillet 2023 est lancé le Frontier Model Forum, que l’on peut traduire par Forum sur les modèles d’avant-garde. Cette nouvelle instance rassemble quelques-unes des grandes entreprises américaines engagées dans la course à l’intelligence artificielle (IA), et plus particulièrement dans son volet génératif.

Quatre sociétés en constituent les membres fondateurs : Google, Microsoft, OpenAI et Anthropic.

Les deux premières ne sont plus à présenter. Elles ont lancé au cours des derniers mois plusieurs projets autour de l’IA générative — comme le chatbot Bard pour le premier ou Copilot pour le second. Quant aux deux autres, l’une est connue pour avoir inventé ChatGPT, un agent conversationnel au cœur de l’actualité depuis le mois de novembre, et l’autre pour avoir conçu un chatbot concurrent, Claude, dont se sert le moteur DuckDuckGo, entre autres.

« Nous sommes ravis de soutenir le lancement du Frontier Model Forum (FMF), une nouvelle initiative visant à garantir un développement sûr et responsable des systèmes d’IA d’avant-garde », a écrit l’entreprise DeepMind, une filiale de Google spécialisée dans l’IA. « Anthropic se réjouit de collaborer avec l’industrie, la société civile, le gouvernement et le monde universitaire pour promouvoir un développement sûr et responsable de l’IA. Le FMF jouera un rôle essentiel dans la coordination des meilleures pratiques et le partage de la recherche sur la sécurité de l’IA », a abondé le père de Claude.

Les modèles d’avant-garde : des modèles d’IA du futur et très performants

D’après la définition donnée par le communiqué conjoint, un modèle précurseur désigne un « modèle d’apprentissage automatique à grande échelle qui dépasse les capacités actuelles des modèles existants les plus avancés et qui peuvent effectuer une grande variété de tâches ». Le communiqué suggère qu’il n’existe pas encore de modèles de cette nature, puisque les systèmes les plus avancés aujourd’hui ne sont pas associés à cette catégorie.

Cette formule de « modèle d’avant-garde » (ou « pionnier » ou « précurseur ») était déjà apparue début juillet dans une publication d’OpenAI, titrée Réglementation de l’IA pionnière : gérer les risques émergents pour la sécurité publique. L’entreprise américaine présentait ces frontiers models comme des modèles « très performants qui pourraient posséder des capacités dangereuses suffisantes pour poser des risques graves pour la sécurité publique. »

« Les modèles d’IA d’avant-garde posent un défi réglementaire distinct : des capacités dangereuses peuvent apparaître de manière inattendue ; il est difficile d’empêcher solidement un modèle déployé d’être utilisé à mauvais escient ; et il est difficile d’empêcher les capacités d’un modèle de proliférer à grande échelle », analysait alors OpenAI, avant de lister les trois mesures réglementaires à ses yeux indispensables pour les encadrer.

Modèle de langage, modèle de fondation…

La notion de modèle précurseur mobilise plusieurs autres notions du champ de l’IA, à commencer par les modèles de langage et les modèles de fondation.

La conception d’un modèle de langage repose la collecte et l’utilisation de données accessibles sur Internet, comme Wikipédia ou Reddit (une procédure qui pose plus globalement la question de sa licéité, puisque des contenus protégés ou sensibles peuvent être aspirés). Ce corpus, qui peut peser des dizaines, voire des centaines de gigaoctets (ce qui est considérable pour du texte), sert de terrain d’entraînement pour le système d’intelligence artificielle.

Le modèle de langage sert de moteur aux IA génératives que sont certains chatbots comme ChatGPT. À l’issue de sa préparation, son rôle est de saisir la requête de l’internaute et, grâce aux algorithmes et aux mathématiques, de fournir une réponse cohérente grammaticalement, et sensée. C’est en somme un modèle statistique, qui détermine quels sont les mots qui sont attendus dans le contexte de la requête, leur agencement dans la phrase, la manière dont ils s’articulent entre eux, et ainsi de suite. C’est presque comme de l’autocomplétion, mais en beaucoup plus avancée.

Les modèles de langage existent parfois en grande taille — on parle alors de grands modèles de langage (large language model, LLM). Par exemple, GPT-3 et GPT-4 sont des LLM et servent de carburant à ChatGPT. LaMDA est aussi un LLM, qui est destiné à Bard. BERT en est un autre de Google. On trouve également LLaMA du côté de Facebook, qui a récemment évolué en LLaMA 2. Claude aussi en est un. Il en existe beaucoup d’autres.

Les modèles de langage et les grands modèles de langage sont bâtis pour traiter le langage naturel et dans une optique de faire émerger des outils de conversation — c’est pour cela que l’on présente ChatGPT comme un agent conversationnel : on peut échanger avec lui, poser des questions, demander l’exécution d’une tâche, le tout dans un dialogue censé être cohérent. Le chatbot est censé réussir à garder le fil de la discussion malgré la succession de demandes.

À cela s’ajoutent aussi les modèles de fondation. Selon la définition donnée par le think tank de l’université de Stanford, ces modèles « sont formés sur de vastes données et sont adaptables à un large éventail de tâches en aval ». Les modèles de fondation sont « basés sur l’apprentissage profond conventionnel et l’apprentissage par transfert », efficaces dans un « grand nombre de tâches » et en mesure de tracer de « nouvelles capacités émergentes. »

Les modèles de fondation sont en mesure de traiter du texte, mais peuvent aussi aller au-delà. Ce sont des modèles que l’on dit multimodaux, car ils manipulent aussi de l’image par exemple. DALL-E est un modèle de fondation multimodal, car car il peut accueillir deux sources de données différentes en entrée : du texte ou bien une image. La dernière version de Midjourney est également liée à cette catégorie, car elle travaille sur du texte ou des images importées.

Quant à l’apprentissage automatique, ou machine learning, en anglais, cela désigne le procédé visant à permettre aux ordinateurs d’apprendre à partir de données qu’on lui donne. Il existe différents types d’apprentissage automatique (incrémental, par renforcement, supervisé, non supervisé, profond, par transfert…). La qualité de cet apprentissage dépend à la fois des données fournies en amont, mais aussi de la façon dont il a été calibré pour travailler.

L’auto-régulation d’abord, le législateur ensuite

La mise en place de ce forum sur les modèles pionniers est la conséquence directe d’une réunion, fin juillet, avec l’administration américaine. Étaient présentes tous les membres de la FMF, mais aussi Amazon, Inflection et Meta (Facebook et Instagram). Pour l’heure, ces trois entreprises ne sont pas annoncées comme membres de la FMF, mais pourraient rejoindre cette initiative, qui s’apparente pour l’instant à une initiative d’auto-régulation du secteur de l’IA, en attendant l’intervention de la puissance publique.

Début juillet, OpenAI avait estimé que « L’auto-réglementation de l’industrie est une première étape importante ». Cependant, l’entreprise derrière ChatGPT avait admis qu’avec l’émergence des modèles précurseurs, « des discussions sociétales plus larges et une intervention gouvernementale seront nécessaires pour créer des normes et assurer leur respect ». Il s’avère justement qu’aux États-Unis comme en Europe, le législateur est en train de s’en mêler.