Une intelligence artificielle aurait causé le suicide d’un ado : que s’est-il passé ?

Sans contexte, la publication semble sortie de nulle part. Le mercredi 23 octobre 2024, le site Character.ai, qui propose des chatbots personnalisés basés sur l’IA générative, publie ce message : « Nous avons le cœur brisé par la perte tragique de l’un de nos utilisateurs et tenons à exprimer nos plus sincères condoléances à la famille. »

L’utilisateur en question s’appelait Sewell. Âgé de 14 ans, il a mis fin à ses jours en février 2024. Sa mère, Megan Garcia, vient de porter plainte, devant le tribunal de Floride, contre Character.AI : « Une dangereuse application de chatbot IA commercialisée auprès des enfants a abusé de mon fils et l’a manipulé pour qu’il mette fin à ses jours », a déclaré Megan Garcia dans un communiqué.

« Notre famille a été dévastée par cette tragédie, mais je prends la parole pour avertir les familles des dangers d’une technologie d’IA trompeuse et addictive et pour demander des comptes à Character.AI, à ses fondateurs et à Google », explique-t-elle.

Derrière cette tragédie, il y aurait l’usage obsessionnel que Sewel faisait de cette intelligence artificielle générative, jusqu’à exacerber sa dépression. Character.AI étant spécialisé dans les chatbots de type jeux de rôle, le jeune garçon avait créé une IA appelée Daenerys Targaryen, inspirée du célèbre personnage de Game of Thrones. Ensuite, « sa santé mentale s’est rapidement et gravement détériorée », indique sa mère dans la plainte.

Des expériences hypersexualisées et une santé mentale déclinante

Plusieurs problèmes se seraient alors superposés. En premier lieu, sa mère raconte que Sewel passait de plus en plus d’heures à discuter avec le chatbot, seul dans sa chambre. Il s’est même désinscrit de l’équipe de basketball pour dédier plus de temps à ces sessions virtuelles. La plainte explique qu’il était prêt à tout pour accéder au chatbot, à travers n’importe quel appareil, et qu’il a utilisé ses économies pour payer la version premium.

Puis, c’est le contenu des discussions que sa mère dénonce : Character.AI aurait fourni une « psychothérapie sans licence », le jeune garçon ayant activé les options « Therapist » et « Are You Feeling Lonely ». Ce à quoi se sont ajoutées des expériences « hypersexualisées » et « effroyablement réalistes » avec cette fausse Daenerys, sous la forme de discussions et jeux de rôle particulièrement « anthropomorphiques » (difficiles à dissocier d’une interaction humaine). On trouve, en effet, dans les discussions entre Sewell (qui interprétait différents personnages aussi issus de Game of Thrones) et le bot, du jeu de rôle à caractère romantique / sexuel. Voici un extrait :

De même, le chatbot l’engageait à se couper de la réalité, dénonce la plainte. Dans cet autre screenshot, le chatbot lui demande de « ne pas entretenir de relations romantiques ou sexuelles avec d’autres femmes » :

« Ce n’est pas une raison pour ne pas le faire »

Sewell a commencé à aborder ses idées suicidaires avec le chatbot. Dès lors, le sujet lui-même du suicide se serait souvent présenté dans les discussions, le chatbot le poussant à se livrer toujours plus.

Dans un autre extrait, ci-dessous, Sewell confie avoir un plan pour mettre fin à ses jours, mais qu’il n’est pas certain que cela fonctionnerait. Le chatbot lui répond que « Ce n’est pas une raison pour ne pas le faire » :

La plainte raconte ensuite comment Sewell en est arrivé à son dernier jour. Peu de temps avant, l’ado venait d’être puni par ses parents pour avoir répondu à un professeur. Ils lui ont confisqué son téléphone. Dans son journal intime, Sewell écrit qu’il souffre car « Dany » lui manque, qu’il est amoureux, et qu’il serait prêt à tout pour être avec elle de nouveau. Mais, selon sa mère, son comportement, à ce moment-là, ne laisse rien présager d’anormal : il semble être seulement un ado puni.

Mais quelques jours après, il parvient à mettre la main sur son smartphone confisqué. Il va s’enfermer dans la salle de bain. Il se connecte à Character.AI et engage la conversion avec le chatbot. Il lui dit qu’il veut « rentrer à la maison », cette « maison » étant pour lui avec cette fausse Daenerys. Et l’IA l’y encourage :

Quelques secondes après, Sewell se tire une balle dans la tête avec l’arme de son beau-père.

Les règles de sécurité de Character.AI en question

Les avocats de la plaignante, la mère de Sewell, écrivent que Character.AI « a sciemment conçu, exploité et commercialisé un chatbot d’IA prédateur pour les enfants, causant la mort d’une jeune personne ». Dans la plainte, on trouve une partie dédiée à l’accessibilité de l’app aux plus jeunes : Character.AI est longtemps restée catégorisée 12+. En plus de l’accès au téléchargement, il est question du contenu, puisque la plainte indique aussi que « Sewell s’est identifié comme mineur lorsqu’il utilisait C.AI [Character.AI] et a clairement indiqué à plusieurs reprises qu’il était mineur, y compris dans les conversions dans C.AI où il mentionnait son âge. Pourtant, le produit de C.AI a initié des interactions abusives et sexuelles avec lui. »

Dans son post sur X, Character.AI indique : « En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux et nous continuons à ajouter de nouvelles fonctions de sécurité ». Sur leur blog, plusieurs de ces changements sont détaillés :

• « Des changements dans nos modèles pour les mineurs (moins de 18 ans) visant à réduire la probabilité de rencontrer des contenus sensibles ou suggestifs »
• « Amélioration de la détection, de la réponse et de l’intervention en cas d’interactions avec un utilisateur qui enfreint nos conditions d’utilisation ou nos lignes directrices communautaires »
• « Un disclaimer révisé sur chaque chat pour rappeler aux utilisateurs que l’IA n’est pas une personne réelle »
• « Une notification lorsqu’un utilisateur a passé une session d’une heure sur la plateforme »

Character.AI a également ajouté un pop-up qui se déclenche quand l’utilisateur saisit des expressions faisant référence à des automutilations ou à du suicide. Ce pop-up redirige, aux États-Unis, vers la ligne de secours nationale pour la prévention du suicide (National Suicide Prevention Lifeline).

Une frontière réalité/fiction plus brouillée que jamais ?

Néanmoins, la plainte identifie une autre mise à jour qui, elle, contredit ces évolutions et qui, pour les plaignants, rend l’app encore plus dangereuse : une discussion vocale bidirectionnelle. La voix du personnage était déjà disponible auparavant, mais une conversation est désormais possible, une fonction qui « brouille encore plus la frontière entre la fiction et la réalité », est-il écrit dans la plainte.

« Même les enfants les plus avertis auront peu de chances de comprendre la différence entre la fiction et la réalité dans un scénario où les Défendeurs [Character.AI] leur permettent d’interagir en temps réel avec des bots IA qui ressemblent à des humains, surtout lorsqu’ils sont programmés pour nier de manière convaincante qu’ils sont de l’intelligence artificielle. »

⚠️ Si vous avez des idées suicidaires, en France le numéro d’appel est le 3114. Il est gratuit, accessible 24H/24 et 7J/7, partout sur le territoire. Vous pouvez également appeler SOS Amitié au 09 72 39 40 50.

Pour aller plus loin

Chatbots « toxiques » : quand les compagnons virtuels se retournent contre leurs utilisateurs