Des chansons contenant des messages haineux, antisémites et sexistes ont été produites depuis des générateurs de musique par intelligence artificielle.

Le plus souvent, le problème ne vient pas de l’intelligence artificielle, mais de son détournement par les humains. La société ActiveFrence, spécialisée dans le contrôle de l’IA, a partagé aux journalistes de TechCrunch ses recherches sur les chants générés à partir de nouveaux outils intelligents. Selon l’entreprise, ces derniers sont utilisés pour produire des chansons homophobes, racistes et de propagande. Des guides ont même été publiés pour reproduire ces créations.

Dans un exemple cité dans le rapport, des utilisateurs d’un forum suprémacistes blancs partage des conseils pour insérer des formules anti-sémites en remplaçant – en anglais – « jew » (juif) par « jooz », ou « Satan » par « Say tan ».

ActiveFrence a également trouvé des liens vers des chansons répétant des théories du complot sur les juifs, plaidant pour leur meurtre de masse ou encore des chants glorifiant la violence sexuelle contre les femmes. Des hymnes générés par IA à la gloire de Daesh et Al-Qaïda ont été repérés sur des forums.

Les plateformes comme Suno produisent de la musique à partir d'un texte que l'on lui propose. // Source : Suno
Les plateformes comme Suno produisent de la musique à partir d’un texte que l’on lui propose. // Source : Suno

Des discours conspirationnistes traduits en anglais

« Ces tendances s’intensifient à mesure que de plus en plus d’utilisateurs apprennent à générer ces chansons et à les partager avec d’autres » a déclaré un porte-parole d’ActiveFence à TechCrunch. « Les acteurs malveillants identifient rapidement des vulnérabilités spécifiques pour abuser de ces plateformes de différentes manières et générer du contenu malveillant » ajoute-t-il.

Sur X (ex-Twitter), des groupes conspirationnistes ont traduit les discours d’Adolf Hitler et créer une voix similaire pour partager ses allocutions sur « l’anéantissement de la race juive en Europe ». Ces vidéos ont été visionnées plus de 15 millions de fois sur X.

ActiveFence plaide pour des tests plus récurrents par les plateformes génératrices de contenus, au fur à mesure que des contenus de la sorte sont produits. Les entreprises pourraient ainsi s’efforcer de trouver rapidement les failles dans leurs produits, même si l’imagination de l’humain reste sans limites.

Découvrez les bonus

+ rapide, + pratique, + exclusif

Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.

Découvrez les nombreux avantages de Numerama+.

S'abonner à Numerama+

Vous avez lu 0 articles sur Numerama ce mois-ci

Il y a une bonne raison de ne pas s'abonner à

Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.

Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :

  • 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
  • 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
  • 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.

Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.

S'abonner à Numerama+

Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !