Ces 3 000 faux Pokémon ont été créés par un générateur de texte

Avec plus de 900 Pokémon créés sur les 20 dernières années, avait-on besoin d’en ajouter quelques milliers en plus ? Probablement. Le développeur informatique Matthew Rayfield en a donc créé 3 000 de plus avec une étrange méthode. Son projet, repéré par Vice le 13 novembre, part d’une idée farfelue : utiliser GTP-2, un algorithme de génération de texte créé par OpenAI, afin de créer… des images. « Je voulais trouver quelque chose de funky à faire avec l’algorithme. Rapidement, j’ai pensé à la génération d’image », explique-t-il dans son billet de blog. Entre le début de ses expérimentations et leur fin en novembre 2020, les chercheurs d’OpenAI ont eux-mêmes adapté GPT-2 à la génération d’image.

Des pixels transformés en texte

Pour créer des Pokémon avec GPT-2, Matthew Rayfield devait donner du texte comme matière première à l’algorithme. Le rôle de GPT-2 et de son successeur GPT-3 est de générer un texte — en théorie — cohérent, à partir de seulement quelques lignes rédigées par un humain. Preuve de son efficacité, un article écrit à l’aide de GPT-3 s’était hissé en tête de Hacker News, un agrégateur d’informations anglophone qui classe les informations selon les votes de sa communauté.

Matthew Rayfield a mis de côté six de ses résultats préférés.

Source : Matthew Rayfield

Le développeur a donc converti plus de 800 images de Pokémon, issues de trois jeux différents, en fichiers texte. Concrètement, il a utilisé un script de son cru pour traduire chaque couche de l’image en texte, pixel par pixel. La couleur de chaque pixel se traduit ainsi en une lettre ou un symbole, et son positionnement se traduit en place dans la phrase.

Matthew Rayfield s’est ensuite servi de ces échantillons de texte pour entraîner GPT-2, de sorte que l’algorithme s’adapte à la façon dont les Pokémon étaient « écrits ». En parallèle, il a créé un script destiné à nettoyer le texte qu’il mettrait dans GPT-2, afin que l’algorithme puisse lui-même générer un texte exploitable. Pour finir, il n’avait plus qu’à convertir le texte généré par GPT-2 en image, en effectuant le procédé inverse de la première étape.

D’image brouillonne à belle illustration

Au bout de ce processus créatif plutôt tordu, il a obtenu des formes colorées plus ou moins proches de l’apparence de Pokémon. « Je ne dirais pas qu’ils ressemblent à des Pokémon, mais ils ont l’air d’essayer de les imiter », écrit-il, avant d’ajouter : « ce ne sont certainement pas des amas aléatoires de pixels. »

Deux Pokémon créent par la version modifiée de GPT-2, et redessinés par Rachel Briggs.

Source : Rachel Briggs, Matthew Rayfield

Pour appuyer son propos, il a commissionné l’illustratrice Rachel Briggs, qui avait déjà travaillé sur des Pokémon non officiels, afin de transformer en dessin les images les plus convaincantes. Le résultat est plutôt convaincant, et ces créatures n’auraient rien à envier à des Pokémon comme Keunotor, Froussardine ou Limonde… Oui, ces noms existent. Non, vous ne voulez pas voir à quoi ils ressemblent.