Une IA de Meta est impitoyable avec les humains dans un jeu de stratégie

Les IA savent écrire des articles à la place des journalistes. Ou dessiner presque aussi bien que des artistes. Mais, il est un autre domaine où les machines excellent, et qui fait office de compétition entre les différentes équipes d’ingénieurs : les jeux de société.

Après Garry Kasparov battu par Deep Blue, AlphaGo qui domine le go, ou Pluribus qui bat les meilleurs joueurs de poker, Meta vient d’annoncer, le 22 novembre 2022, une réussite de son nouvel agent, Cicero (en référence à Cicéron ?). Il est parvenu à se placer dans le haut du classement sur la version en ligne du jeu de stratégie Diplomacy.

C’est quoi, Diplomacy ?

Diplomacy est un jeu de société de stratégie, publié pour la première fois en 1959, qui a connu de nombreuses éditions et rééditions. La version française la plus récente, datant de 2006, n’est plus disponible en boutique.

Jusqu’à sept joueurs s’y affrontent, chacun incarnant une des grandes puissances de l’Europe du début du 20e siècle (France, Autriche-Hongrie, Allemagne, etc.), dans le but de contrôler au moins la moitié du continent pour l’emporter.

Outre la durée des parties (plusieurs heures), le jeu a ceci de particulier qu’il ne comporte aucune part de hasard, et que le déplacement des troupes se fait en simultané pour tout le monde. Pour cela, à chaque tour, les joueurs notent secrètement leurs ordres.

Mais, la phase la plus importante du jeu est la négociation qui précède. Les joueurs forgent des alliances, bluffent, menacent, négocient, concluent des trêves, complotent. Ces accords, tenus secrets ou rendus publics, peuvent être respectés… ou pas. La dimension psychologique y est donc primordiale, elle est au cœur du jeu.

Parmi les amateurs célèbres de Diplomacy, citons notamment l’ancien président américain John Kennedy qui, semble-t-il, y jouait en famille à la Maison Banche, ou les écrivains de science-fiction Isaac Asimov et Ray Bradbury.

Le jeu a été étudié en long, en large et en travers, et a fait l’objet de nombreuses compétitions internationales. Comme aux échecs, plusieurs ouvertures sont possibles pour chaque pays. Ainsi, après le tout premier tour de jeu, et en prenant en compte toutes les unités de toutes les nationalités sur la carte, on dénombre pas moins de 74 980 036 938 664 configurations possibles (environ soixante-quinze milliers de milliards).

Cicero, l’IA qui bat les humains à Diplomacy

Meta a donc annoncé la mise au point de Cicero, une intelligence artificielle capable de jouer à Diplomacy avec des humains, comme un humain, et de gagner. Elle est ainsi parvenue à se hisser dans les 10 % de meilleurs joueurs de webDiplomacy, une version en ligne du jeu.

Pour cela, Cicero prédit les actions probables de chaque joueur humain, en fonction de l’état du plateau et des dialogues en cours, puis utilise ces prédictions comme point de départ pour son algorithme de planification. Il en résulte ses actions pour le tour et des suppositions pour les actions des autres joueurs, utilisées pour générer plusieurs modèles de dialogues. Les potentiels messages sont ensuite passés au travers de plusieurs étapes de filtrage, avant qu’un message final ne soit envoyé.

L’équipe de Meta a mis au point de nouvelles techniques à l’intersection de deux domaines complètement différents de la recherche en IA : le raisonnement stratégique, utilisé par des agents comme AlphaGo et Pluribus, et le traitement du langage naturel, utilisé par des modèles comme GPT-3.

Cicero peut déduire, par exemple, que plus tard dans le jeu, il aura besoin du soutien d’un joueur particulier, puis élaborer une stratégie pour gagner les faveurs de ce dernier. Voire reconnaître les risques et les opportunités du propre point de vue de ce joueur.

Cicero n’en est cependant qu’à ses débuts, et peut encore progresser. Il lui arrive de générer un dialogue incohérent, nuisant lui-même à ses objectifs. Un des exemples montre deux messages contradictoires, envoyés au même joueur humain lors d’une négociation.

La finalité pour Meta n’est évidemment pas d’asseoir sa domination sur un jeu vieux de plus de 60 ans. Parmi les débouchés potentiels, l’entreprise vise à faciliter la communication entre les humains et les agents dotés d’une IA. Les exemples cités proposent de maintenir une conversation à long terme dans le but d’enseigner une nouvelle compétence, ou de permettre à des personnages de jeux vidéo d’avoir des réactions et une discussion proches d’un humain. On pense immédiatement aux opportunités potentielles introduites dans un métaverse.

Enfin, pour les plus motivés, l’ensemble du code et des modèles est disponible sur GitHub.