Une vidéo dans laquelle une personne se donne la mort ou tente de se suicider est bannie plus rapidement de Facebook qu’une vidéo d’attentat. C’est ce qu’a admis le réseau social dans un communiqué mis en ligne mercredi 20 mars.
La vidéo signalée après 29 minutes
Le communiqué fait suite à l’attaque terroriste islamophobe de Christchurch lors de laquelle 50 personnes ont été tuées. L’assaillant a filmé l’attentat et en a diffusé les images en direct sur Facebook.
Dans un premier communiqué daté du 18 mars, Facebook explique que la vidéo a été vue environ 200 fois en direct, sans que personne ne la signale. Ce n’est que 12 minutes après la fin du direct (soit 29 minutes après son début) que la vidéo a été signalée. Elle avait alors été vue plus de 4 000 fois. Facebook dit avoir supprimé le contenu quelques minutes après le premier signalement.
La vidéo de l’attaque a été copiée puis rediffusée, principalement sur Facebook, YouTube, Twitter et 8chan, qui a depuis été bloqué par des fournisseurs d’accès à internet en Australie et Nouvelle-Zélande. À lui seul, Facebook affirme avoir supprimé 1,2 million de vidéos en 24 heures.
L’IA n’était pas préparée à une telle attaque
Facebook a mis en place un système de modération automatisée et humaine à plusieurs vitesses. Certains types de contenus bénéficient d’une attention toute particulière : c’est le cas pour les actes suicidaires ou violents, dans lesquels une personne serait blessée ou tuée.
Un système d’intelligence artificielle a été entraîné pour détecter et prioriser ces vidéos en les envoyant rapidement à des modérateurs humains. Ce système, rappelle Facebook, « n’est pas parfait ». Il n’a pas détecté la vidéo de l’attentat de Christchurch, simplement parce qu’il a été entraîné avec des images de propagande terroriste, de nudité ou de violence graphique qui lui ont semblé différents.
Facebook explique qu’il est possible d’entraîner l’IA à identifier plus de types différents d’images violentes. Seulement, selon le réseau social, cela serait contre-productif. Les algorithmes pourraient par exemple identifier une partie de jeux vidéo en streaming comme étant un attentat. Si cela arrive trop fréquemment, les équipes de modération humaines risquent de voir les images vraiment problématiques noyées sous un lot de faux-positifs.
Un procédé accéléré qui ne concerne pas les attentats
Outre l’IA, il existe une autre méthode pour faire remonter un contenu dangereux aux modérations : les signalements des utilisateurs. Comme expliqué ci-dessus, personne n’a signalé la vidéo pendant sa diffusion. Or Facebook explique que les vidéos en direct signalées sont étudiées bien plus vite que les vidéos qui ne sont pas en direct. Ceci est lié au fait que les modérateurs peuvent dans certains cas faire appel aux secours à temps, lorsque la situation l’exige.
Ce procédé en accéléré s’applique également pour les vidéos autour du suicide quelques heures après leur publication en direct. Il s’agit de la seule exception faite par le réseau social pour le moment. La vidéo de Christchurch n’a elle pas été signalée comme étant un contenu suicidaire. Par conséquent, elle n’a pas été évaluée en priorité.
Un ré-examen des procédures de modération est en cours
Facebook dit avoir retenu la leçon. Un ré-examen des procédures est en cours depuis l’attentat afin d’élargir les catégories de contenus nécessitant une action très rapide.
Facebook a doublé en l’espace d’un an le nombre de personnes travaillant à la modération pour l’entreprise. On compte aujourd’hui plus de 15 000 employés et sous-traitants (dont les conditions de travail seraient très difficiles à en croire une récente enquête de The Verge).
L’entreprise n’est pas le seul réseau social à avoir mis du temps à se débarrasser de la vidéo de Christchurch. YouTube et Twitter ont également du faire face à une quantité « sans précédent » de re-publications de la vidéo. Les algorithmes n’ont pas su réagir assez vite face à la situation d’urgence, comme on vous l’expliquait le 19 mars.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !
