OpenAI (Dall-E, ChatGPT) s'organise pour éviter que l'IA cause des dégâts catastrophiques

OpenAI, le père de ChatGPT, annonce la création d’une équipe pour penser l’IA de demain, et les limites à lui donner pour éviter qu’elle ne nuise à l’humanité.

Éviter que l’intelligence artificielle ne nous tue tous. C’est, au fond, l’objectif qui est assigné à une toute nouvelle équipe qu’est en train de mettre en place OpenAI, l’entreprise américaine derrière ChatGPT et DALL-E. Plus exactement, il s’agit pour cette société spécialisée dans les chatbots d’anticiper et de se préparer aux risques futurs associés à l’IA.

Le nom de cette nouvelle équipe illustre d’ailleurs bien les intentions d’OpenAI : elle est nommée « Preparedness team », que l’on peut traduire en « équipe d’anticipation des risques ». Il s’agit, explique le fondateur d’OpenAI, Sam Altman, « d’évaluer, de prévoir et de se protéger contre les risques » relatifs à l’IA, et en particulier celle qui sera développée dans le futur.

Faire face aux IA allant « jusqu’aux confins de la superintelligence »

Dans son annonce, la société dédiée à l’IA générative (ChatGPT produit du texte à la demande, tandis que DALL-E fournit des images à la volée, sur la base d’instructions textuelles) insiste surtout sur les systèmes « à haute capacité », ceux allant « jusqu’aux confins de la superintelligence », capable d’égaler ou de surpasser l’intellect humain.

Cette description renvoie à la notion d’intelligence artificielle générale (Artificial General Intelligence, ou AGI, en anglais), dont parle d’ailleurs OpenAI dans sa communication. Considérée comme le Graal ultime en IA, l’AGI est censée avoir une capacité d’apprentissage et de raisonnement équivalente à celle d’un humain. L’ère qui s’ouvrirait serait alors une révolution sociétale.

Source : 2001, L'Odyssée de l'espace — En somme, il s’agit d’éviter que HAL 9000 ne débloque. // Source : 2001, L’Odyssée de l’espace

Il existe toutefois d’intenses débats dans la communauté de l’IA sur la plausibilité qu’une telle AGI puisse émerger — et à supposer que cela arrive, on ignore à quelle date cela se produirait. Aujourd’hui, il est établi qu’aucune AGI n’existe en 2023. Se pose également la question de savoir s’il faut favoriser son émergence, en raison des risques existentiels qu’elle peut charrier.

Sans trancher le débat, OpenAI préfère se préparer à cette éventualité. C’est ce que dit, par exemple, Greg Brockman, l’autre fondateur de la société : « Nous travaillons sur une nouvelle approche quantitative et factuelle de la sécurité de l’IA, au-delà de ce qui est généralement considéré comme possible ». L’équipe, encore balbutiante, est toujours en cours de constitution.

L’équipe sera dirigée par Aleksander Madry, un ancien professeur d’informatique au MIT, et membre du CSAIL (Computer Science & AI Laboratory). Ce spécialiste de l’apprentissage automatique (un champ de recherche dans l’IA) devra travailler sur certaines problématiques dont les réponses ne seront pas nécessairement définitives. OpenAI donne trois exemples :

Quel est le degré de dangerosité des systèmes d’IA d’avant-garde, lorsqu’ils sont utilisés à mauvais escient, aujourd’hui et à l’avenir ?
Comment construire un cadre solide pour le suivi, l’évaluation, la prédiction et la protection contre les capacités dangereuses des systèmes d’IA d’avant-garde ?
Si nos modèles d’avant-garde étaient volés, comment des acteurs malveillants pourraient-ils choisir de les exploiter ?

Les risques de nature existentielle qu’évoque OpenAI sont divers, mais quatre en particulier ont été mis en avant. Il y a la cybersécurité, la persuasion individualisée, les risques NRBC (nucléaire, radiologique, biologique et chimique) et enfin l’IA qui est en mesure de s’adapter et de se répliquer de manière autonome. Au risque, peut-être, de devenir hors de contrôle.