Une IA rend GTA V plus réaliste mais moins beau

Un jeu plus réaliste est-il forcément plus beau ? C’est la question que se sont posée des ingénieurs de chez Intel en créant une intelligence artificielle capable de transformer les images de GTA V en rendu photoréaliste.

Cette petite prouesse technique a été rendue possible grâce au travail d’une équipe du Intel Intelligent Systems Lab, une cellule dédiée à la recherche sur l’intelligence artificielle, l’apprentissage machine et la robotique chez Intel. En introduction de leur article de recherche, les trois auteurs expliquent que « le photoréalisme est le but à atteindre pour les graphismes de jeux vidéo depuis un demi-siècle », et que les récentes avancées dans le monde de l’intelligence artificielle permettent de mieux « combler l’écart d’apparence entre les images synthétiques et réelles ».

Mercedes partout, réalisme nulle part

Pour le prouver, les chercheurs ont donc modifié des images de GTA V, l’immensément populaire jeu de Rockstar, pour leur donner un look plus réaliste, et montrent leurs résultats en photo et vidéo.

Pour rendre GTA V plus réaliste, l’équipe de Intel a nourri une intelligence artificielle maison avec la base de données Cityscape, qui contient énormément de photos d’environnement urbain. La machine avait ensuite pour tâche de disséquer les images du jeu en plusieurs « calques ». Cela permet d’avoir une vision complète et précise de plusieurs aspects du rendu, comme l’éclairage de la scène, le recul de la caméra et les distances, même la brillance des objets 3D. En superposant intelligemment les images issues de Cityscape et de GTA, l’IA a donc produit des images plus réalistes.

A gauche GTA V, à droite l'image améliorée

Source : Intel ISL

Cette opération peut paraitre simple sur le papier, mais elle a en réalité demandé un travail considérable aux chercheurs, puisque les méthodes d’apprentissage machine traditionnellement employées dans ce genre d’opérations produisaient ici des résultats très aléatoires. Une de ces méthodes rajoutait par exemple des ornements Mercedes à toutes les voitures, simplement car les images de Cityscape sont majoritairement issues d’Allemagne ou de nombreuses voitures Mercedes circulent sur les routes.

Le jeu vidéo doit-il être hyper réaliste ?

Pour régler ces problèmes, il a été décidé de ne pas laisser l’IA analyser le contexte complet d’une image (ce qui est traditionnellement fait dans ces cas-là, pour aider la machine à comprendre son environnement), mais plutôt de sectionner chaque image du jeu en petits morceaux, pour les faire correspondre à des images réelles. Ainsi, de petits éléments du paysage de GTA, comme la vue sur un cycliste, ou sur une ligne de séparation d’autoroutes, vont être mis en parallèle avec des photos similaires sur Cityscape.

Les images utilisés pour construire un GTA photoréaliste

Source : Intel Intelligent Systems Lab

Le résultat obtenu par Intel est impressionnant. Les images issues de leurs expérimentations semblent en effet très proche de notre réalité. Elles sont toutefois souvent moins flatteuses à l’œil. L’extrême contraste du rendu 3D, les couleurs saturées du paysage, le fourmillement de détails laissent place à une vision plus réaliste, mais moins riche.

Au fil des années, les jeux vidéo ont développé une grammaire et un univers spécifique auquel l’on s’est habitué. Les arbres d’un vert éclatant et les nuages cotonneux ne choquent pas dans un jeu vidéo, comme ils pourraient le faire dans la vie. En appliquant un traitement hyperréaliste à GTA, on lui fait perdre une partie de son identité de jeux, un peu comme pour la « vallée dérangeante » chez les humains.