La toxicité de certains réseaux sociaux, terrain de conversations houleuses voire de cyberharcèlement, n’est plus à démontrer. À cet égard, le fait d’anticiper qu’une discussion en ligne risque de mal tourner constitue un enjeu important.
C’est précisément à partir de cette idée que des chercheurs de l’Université Cornell (New York) ont travaillé sur un logiciel qui serait capable d’anticiper la tournure d’un échange en ligne, en devinant s’il est susceptible de mener à une dispute.
Comportements antisociaux
En partenariat avec Wikimedia et Google Jigsaw, l’université a publié le 14 mai 2018 son travail sur ce logiciel, en expliquant comment il tente de « détecter les signes précoces de l’échec d’une conversation » qui se manifestent par des « comportements antisociaux, comme le harcèlement ou des attaques personnelles. ».
Évoquant les travaux qui tentent déjà d’identifier les contenus haineux, les chercheurs Justine Zhang, Jonathan P. Chang et Christian Danescu-Niculescu-Mizil expliquent que leur « objectif est fondamentalement différent : au lieu d’identifier les commentaires antisociaux, [ils cherchent] à détecter les signes avant-coureurs qui indiquent qu’une conversation civilisée risque de déraper vers de tels comportements indésirables. »
Pour créer et entraîner ce logiciel, les universitaires ont utilisé de véritables discussions entre des internautes, sur les pages liées à des articles de Wikipedia. L’outil a par exemple été programmé pour identifier des textes corrélés à une « humeur » ou un ton dans la discussion.
Par exemple, le logiciel sait identifier qu’une discussion qui contient des formules de politesse — « Merci pour votre aide », « Comment allez-vous », « Je pense que » ou « S’il-vous plaît » — est le signe d’un échange courtois.
Une corrélation entre des mots et le ton d’une discussion
Au contraire, d’autres mots sont davantage identifiés par le logiciel comme des signes que la conversation pourrait prendre une mauvaise tournure. C’est le cas, notamment, des questions adressées de manière directe — « Pourquoi n’avez-vous pas cherché cela ? » — ou les débuts de réponse commençant par un pronom renvoyant à la deuxième personne — « Vos sources importent peu ».
Ils ont également eu recours à Perspective API, l’outil développé par Google pour tenter de repérer les commentaires toxiques dans une discussion en ligne.
Les trois chercheurs ont alors utilisé le modèle de la régression logistique, utilisée dans l’apprentissage automatique, pour trouver un équilibre entre ces différents signaux dans les analyses du logiciel. Une fois son entraînement achevé, la technologie a été confrontée à des discussions, dont certaines commençaient de manière amicale avant de se clore sur des insultes.
Moins efficace que les humains
Dans 65 % des cas, le logiciel a réussi à deviner que la conversation allait prendre une mauvaise tournure. Si ce pourcentage semble encourageant, il faut rappeler que le test s’est pour l’instant limité aux pages de discussions sur Wikipedia, où les intervenants tentent pour la plupart de contribuer à améliorer les articles de l’encyclopédie. À ce titre, on peut supposer que leurs échanges sont, pour la plupart, bienveillants.
En outre, les êtres humains sollicités par les chercheurs ont réussi à identifier qu’une conversation allait mal se passer plus souvent que le logiciel : ils y sont parvenus dans 72 % des cas.
Néanmoins, les scientifiques pensent que cette technologie préfigure de futurs outils capables d’intervenir dans des échanges en ligne. « Les êtres humains ont des soupçons quand les conversations risquent de mal tourner, et cette [recherche] montre qu’il est possible de rendre également les ordinateurs conscients de ces soupçons », avance Justine Zhang.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !
