Ce réseau neuronal observe des jeux 2D pour en reproduire le gameplay

L’IA est aujourd’hui sur toutes les lèvres, parfois de manière abusive alors qu’on devrait lui préférer le terme de réseaux neuronaux artificiels. On en trouve aujourd’hui dans l’industrie des services — Google Home ou Amazon Echo en tête —, de l’automobile — avec des constructeurs comme Tesla — ou encore du jeu vidéo. Certains réseaux ont déjà fait parler d’eux, comme l’invaincu Alpha Go ou le futur champion de Starcraft 2 développé par Google et DeepMind.

Ces deux systèmes ont toujours eu pour but de comprendre le jeu afin d’y jouer du mieux possible. Cette fois-ci, un groupe d’informaticiens de Georgia Tech ont essayé quelque chose de nouveau, en développant une IA capable d’apprendre comment fonctionne un jeu afin d’en assimiler le gameplay — et non pas pour apprendre à y jouer. Un travail expliqué dans une étude, « L’apprentissage d’un moteur de jeu à partir de la vidéo », publiée récemment.

Images de la version originale de Super Mario Bros., analysées par le programme de Georgia Tech (c) Matthew Guzdial

Images de la version clonée de Super Mario Bros., produites par le programme de Georgia Tech (c) Matthew Guzdial

Analyser image par image pour comprendre le gameplay

Il suffit donc pour ce programme d’observer plusieurs parties d’un jeu, comme Super Mario Bros. ou Megaman, afin d’en analyser le mouvement des pixels. Il ne part évidemment pas de zéro pour recréer le jeu : les images du héros, des éléments du décors ou encore des ennemis apparaissant à l’écran sont chargés au préalable, en plus de concepts basiques comme leur position ou la rapidité des mouvements. Ce n’est qu’une fois doté de ces compléments d’information que le système artificiel va pouvoir analyser le jeu image par image pour en déduire les règles du gameplay.

« Pour chaque image de la vidéo, nous avons un programme d’analyse qui déroule et recueille les faits. Par exemple, quelle est l’étape de l’animation où Mario se trouve ? À quelles vitesses se déplacent les éléments ? » explique Matthew Guzdial, auteur de l’étude, dans les colonnes de The Verge. « Imaginez le cas de figure où Mario est juste au dessus d’un Goomba sur une image, puis celle d’après, où le Goomba a disparu. À partir de là, le système en déduit une règle : lorsque Mario est au-dessus d’un Goomba et que sa vitesse est négative, le Goomba disparaît. »

Une explication pratique sur la manière dont le réseau neuronal déduit les règles du jeu, chacune s’emboîtant ensuite dans une série logique permettant de recréer en grande partie la logique du titre.

Comparatif entre le jeu original (à gauche) et la version clonée (à droite). (c) Matthew Guzdial

Le résultat, certes saccadé et quelque peu glitché, reste assez impressionnant. Le système est pour l’instant limité aux jeux de plateforme en 2D : définir les informations pour des jeux en 3D nécessiterait beaucoup plus de temps et de développement. Mais le travail de l’équipe de Georgia Tech n’est certainement pas fini, Matthew Guzdial voyant même des usages pratiques de sa création dans le monde réel : « Je pense en effet qu’une future version de ce système pourrait analyser des domaines limités de la réalité » raconte-t-il à The Verge.

En attendant, le programme se refait quelques classiques NES, avant de peut-être passer à l’étape supérieure — infiniment plus complexe.