Character.AI n’est que la partie immergée de l’iceberg

Dans le milieu des fanfictions, il existe une pratique assez polémique : la RPF. La real person fiction est, comme son nom l’indique, un genre qui consiste à écrire des histoires sur des vraies personnes. Il peut s’agir de contenus parodiques (c’est le cas de la majorité de la RPF qui implique des hommes ou des femmes politiques). Le plus souvent, il met en scène des célébrités dans des situations de romance, voire d’érotisme. Certain·es auteur·es s’imaginent être en couple avec une star. D’autres jouent à Cupidon avec les membres d’un boys band, d’une écurie de F1, etc. La règle tacite de ces histoires est de ne pas les diffuser largement, pour qu’elles restent loin des yeux des personnes qui les ont inspirées.

Quand j’ai entendu parler de Character.AI pour la première fois, j’ai tout de suite pensé aux fanfictions. Conçue par deux anciens ingénieurs d’Alphabet/Google, et valorisée à plus d’un milliard de dollars, cette plateforme propose aux internautes de créer leur propre chatbot boosté par une IA générative textuelle. Sur la page d’accueil, on nous présente des bots pour s’exercer à passer un entretien d’embauche ou obtenir des conseils de lecture. Dans les faits, le service sert surtout à créer des programmes à l’effigie de personnages de fiction, voire des personnes bien réelles. On apprend dans cette enquête du magazine Wired que ces bots sont de plus en plus utilisés à des fins de spam, de désinformation et de harcèlement (plusieurs victimes citées travaillent dans le milieu du jeu vidéo, toujours en avance sur les nouvelles formes de menaces en ligne).

Si Character.AI interdit en théorie les bots « posant un risque à la vie privée » d’une personne, ou à des fins de « diffamation », de « pornographie » ou de « violence extrême », il admet aussi qu’un programme allant à l’encontre de ses règles sera supprimé dans un délai moyen d’une semaine. Et n’oublie pas de se protéger (légalement) en ajoutant une simple phrase en bas de la fenêtre de chat : « tout ce que disent les personnages est inventé ! »

Cet édito est un extrait de la newsletter Règle 30 de Lucie Ronfaut, envoyée le mercredi 23 octobre 2024. Vous pouvez vous abonner pour recevoir les prochains numéros :

Character.AI n’est que la partie immergée de l’iceberg. Les bots personnalisés sont très populaires en ligne, et difficilement contrôlables. Début octobre, la plateforme Muah.ai, qui se spécialise dans la création de chatbots érotiques « sans censure« , a subi une cyberattaque, révélant de nombreuses requêtes dérangeantes (et illégales) autour de bots incarnant des enfants. Ce genre de programmes peut aussi être utilisé pour doxxer (révéler des informations privées) des vraies victimes, qui ne sont souvent pas au courant que quelqu’un a créé un programme à leur effigie.

Est-ce moins grave parce que c’est de la fiction ?

D’une certaine manière, ces affaires ne sont pas inédites. C’est une énième histoire de plateforme qui refuse de modérer activement les effets négatifs qu’elle pourrait avoir sur ses utilisateurs, utilisatrices, et en dehors. C’est aussi un écho à des pratiques qui existaient avant l’explosion des IA génératives. En 2022, lorsque des streameuses françaises ont dénoncé le harcèlement massif dont elles étaient victimes, certaines ont plus spécifiquement mis en avant l’organisation de jeux de rôle sexuels reprenant leur nom et leur image sur Reddit et Discord, évidemment sans leur consentement.

On est finalement très loin du RPF, que je comparerais aux fantasmes d’une adolescente qui s’imagine une romance avec sa pop star préférée, dans un cadre privé ou restreint. Ici, on transforme des véritables personnes, la plupart du temps des femmes, parfois sans notoriété particulière, en objet public à posséder, contrôler, se partager. La nouveauté, c’est que le phénomène se retrouve désormais au cœur du modèle économique d’entreprises. Est-ce moins grave parce que c’est de la fiction ?

Cet édito a été écrit avant que l’on apprenne le décès d’un jeune adolescent, Sewell, qui a mis fin à ses jours en février dernier, et qui utilisait intensivement un chatbot de Character.AI. Sa mère a porté plainte, accusant le chatbot d’avoir incité son fils au suicide.