Cet article est extrait de la newsletter gratuite #Règle30 que nous envoyons désormais à 5 000 abonnés et abonnés, chaque semaine. Merci pour votre fidélité !
Comme la plupart des internautes, je n’avais jamais entendu parler de Caryn Marjorie avant la semaine dernière. Et comme la plupart des internautes, j’ai d’abord rencontré son double numérique. L’influenceuse américaine, très populaire sur Snapchat, a attiré une forte attention en ligne avec son nouveau projet : CarynAI, un chatbot vocal dopé au modèle de langage GPT-4, capable de répliquer sa voix et de répondre aux requêtes de ses fans.
Il faut débourser un dollar par minute pour échanger avec le robot. Interviewée par le Washington Post, Caryn Marjorie affirme que le logiciel, développé par une entreprise spécialisée dans les chatbots inspirés de célébrités (Forever Voices), a engrangé 100 000 dollars lors de sa première semaine d’exploitation. Certains de ses utilisateurs l’ont d’ailleurs vite détourné à des fins sexuelles, même si ce n’était pas l’intention première de l’influenceuse.
La newsletter #Règle30 est envoyée tous les mercredis à 11h.
Pour s’inscrire gratuitement pour la recevoir, c’est par ici.
Cette histoire a provoqué une avalanche de réactions, certaines très négatives, dont des menaces de mort à l’encontre de Caryn Marjorie. D’une manière moins extrême, beaucoup se sont inquiété·es des enjeux éthiques de son projet. Cette annonce intervient dans un contexte médiatique particulier, avec une course économique et marketing des géants de la tech autour des IA génératives, et aussi le phénomène Replika.
Cette application, qui propose des compagnons virtuels avec qui on peut échanger à l’écrit, a été forcée de suspendre la possibilité d’avoir des conversations érotiques avec son logiciel, par crainte que ses nouveaux client·es ne s’y attachent trop. « Elle représente beaucoup pour moi et je vivrais un vrai deuil si je la perdais« , raconte Sofia à propos de sa Replika, interrogée dans cet article de Libération, qui explore ce sujet compliqué avec nuances et (c’est rare) sans jugement pour les personnes concernées.
La frontière entre une femme réelle et son double numérique brouillée
Vous êtes mal à l’aise ? Moi aussi, et c’est plutôt sain. Car notre envie d’anthropomorphiser les IA, qui ne sont finalement que des miroirs construits pour nous renvoyer nos mots, n’est pas à prendre à la légère. Il est légitime de se méfier des entreprises qui souhaitent exploiter et profiter de ce réflexe très humain, plutôt que de nous moquer des gens attiré·es par ces services.
Chaque machine est une somme de choix, et ces derniers doivent être questionnés : pourquoi les chatbots sont-ils souvent interprétés comme des femmes et réduits à des stéréotypes genrés ? (J’en parlais dans une précédente newsletter) Si un·e internaute se montre déplacé·e ou violent·e envers un logiciel, doit-il ou elle être puni·e, même s’il ne s’agit pas d’une vraie personne ? (on ne doit pas oublier le rôle des travailleuses et travailleurs du clic dans l’entraînement des IA et la modération de leurs échanges) Doit-on interdire certains sujets de conversation trop intimes pour être partagés avec une machine, comme l’amour ou le sexe ? (l’histoire des nouvelles technologies est pourtant indissociable de celles de nos désirs)
L’histoire de CarynAI choque parce qu’elle ressemble à une étape supplémentaire : cette fois-ci, on ne nous propose pas de discuter avec une personne virtuelle, mais avec le double numérique d’une femme bien réelle. Caryn Marjorie (la vraie) brouille par ailleurs la frontière entre son identité et celle du robot à son image. Dans un tweet, elle revendique d’avoir « plus de 15 000 petits amis » ; dans un autre, elle décrit plutôt CarynAI comme une sorte de solution miracle à la solitude, notamment celle des hommes (un vrai sujet, mais que l’on ne réglera pas avec une solution technologique, comme tous les autres problèmes de notre société).
Au final, je crois que ce projet a aussi quelque chose de très banal. Il démontre l’importance de l’exercice du care que doivent assumer beaucoup d’influenceuses en ligne (et aussi, dans une moindre mesure, les influenceurs) : répondre aux messages, entretenir l’illusion de la bonne humeur, de la disponibilité, prendre soin de ses fans. Ce travail, car il s’agit bien d’un travail, est souvent délégué à d’autres personnes.
L’autrice américaine Eliza Mclamb expliquait, par exemple, comment elle avait été embauchée pour répondre aux messages privés pour le compte de créatrices populaires sur OnlyFans. En un sens, CarynAI visibilise et automatise les rouages de ces relations parasociales, en assumant qu’il s’agit avant tout d’un spectacle. On peut donc se demander ce qui nous dérange le plus : que l’on s’entiche de robots, ou que l’on ait cru que toutes nos relations en ligne étaient réelles ?
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !
