Il est hors de question d’avoir un score social à la Black Mirror, tranche le Parlement européen

C’est une résolution qui a le mérite de fixer la position du Parlement européen, dans la perspective d’éventuels futurs débats, à défaut d’avoir une quelconque valeur juridique contraignante. Au cours d’un vote survenu en séance plénière le 6 octobre 2021, les eurodéputés ont rejeté massivement l’idée d’une notation sociale des individus sur une base algorithmique.

La résolution, adoptée par 377 voix pour, 248 contre et 62 abstentions, déclare que le Parlement européen « considère que toute forme de notation normative des citoyens à grande échelle […] entraîne une perte d’autonomie, menace le principe de non-discrimination et ne peut être considérée comme conforme aux droits fondamentaux, en particulier à la dignité humaine. »

Les parlementaires du Vieux Continent plaident tout particulièrement l’interdiction de tout score social étatique, établi par les autorités publiques et en particulier pour des domaines aussi sensibles que le répressif et le judiciaire. En ce sens, les élus épousent l’avis du groupe d’experts de haut niveau sur l’intelligence artificielle que Bruxelles a mis en place en 2018 pour réfléchir aux enjeux éthiques de l’IA.

Une pratique inacceptable pour Bruxelles

Il apparaît que la Commission est sur la même longueur d’onde. En avril, elle classait les systèmes permettant la notation sociale par les États comme un risque inacceptable — le plus haut des quatre degrés de dangerosité, dans lequel on trouve aussi les jouets dotés d’un assistant vocal poussant des mineurs à avoir un comportement dangereux, la manipulation du comportement et l’abolition du libre arbitre.

Il est à noter qu’il existe déjà des pratiques de notation en Europe. Dans le secteur privé, le public peut être amené déjà à évaluer autrui — par exemple pour un chauffeur de VTC ou un livreur. Les clients aussi peuvent être notés dans certaines circonstances. Uber prévoit par exemple que les conducteurs peuvent aussi donner une appréciation chiffrée sur les personnes qu’ils transportent.

La résolution adoptée par le Parlement adresse en fait d’autres problématiques avec un œil tout aussi sévère, comme les bases de données privées de reconnaissance faciale (cela fait référence au scandale de Clearview) et la reconnaissance automatique dans les espaces publics et le contrôle aux frontières. Ces pratiques sont à proscrire, jugent les élus, tout comme la police comportementale.

Clearview apprécierait-il la société décrite dans certains épisodes de Black Mirror ?

Source : Capture d'écran Black Mirror/Netflix

Inévitablement, la résolution européenne rappelle ce que la science-fiction d’anticipation propose avec un épisode devenu célèbre issu la série Black Mirror, dans lequel on suit une personne qui se démène pour sauver sa cote personnelle, qui lui donne droit à diverses prestations et facilités si elle est haute. Mais ce dispositif a aussi une traduction réelle en Chine, avec le système de crédit social.

Ce dispositif piloté par le gouvernement chinois est pointé du doigt pour ses conséquences sur l’uniformisation des comportements et sur une exclusion rampante d’une partie de la population. Il a ainsi été documenté que des millions de personnes n’ont pas pu prendre de transports à cause de ce système leur accordant une note trop basse ni à certains établissements ou procéder à certains actes courants.