Le grand méchant score social qui cache la forêt

L’AI Act, c’est aussi difficile à prononcer qu’à comprendre. Pour simplifier les choses, beaucoup se sont focalisés sur un élément marquant du texte : l’interdiction du score social, ou social scoring. C’est l’idée d’attribuer une note moyenne à un être humain en fonction de son comportement : elle peut baisser ou augmenter dans le temps.

Je vous l’explique, mais en réalité, depuis le temps qu’on nous bassine avec ça, je suis sûre que tout le monde en avait déjà entendu parler. On le doit surtout à cet épisode de Black Mirror diffusé en 2016 sur Netflix, appelé Nosedive, où tous les protagonistes se notent entre eux.

Le score social, c’est l’épouvantail qu’on brandit comme la plus grande menace algorithmique possible. C’est devenu l’exemple consensuel par définition : qui pourrait défendre un tel concept ? C’est pour cela que l’Europe aime s’en emparer dès qu’elle le peut.  

En octobre 2021 déjà, le Parlement européen s’était positionné contre la « notation sociale », estimant qu’elle était « contraire aux droits fondamentaux et à la dignité humaine. » Encore 6 mois plus tôt, la Commission européenne avait déjà classé la notation sociale comme un « risque inacceptable », soit le risque le plus haut pour les dangers de l’IA. 

Regarder le score social pour ne pas voir le reste

Il est de bon ton de soulever l’hypocrisie derrière cette levée de boucliers. Oui, il est utile d’anticiper le pire. Mais il faut aussi regarder ce qu’il se passe autour de nous et peut-être balayer devant notre porte. Les citoyens se notent déjà depuis des années. 

Il y a les Airbnb, Uber et autres Deliveroo, les services qui vous demandent de donner entre une et 5 étoiles au travail d’un autre. Note qui va déterminer ses propres conditions d’exercice à lui. Vous allez me dire que je ne cite que des entreprises privées. Ce serait méconnaitre certaines fondations administratives de notre société. 

Récemment, le Monde et l’association la Quadrature du Net ont dévoilé comment fonctionnait l’algorithme de la CAF. La Caisse d’allocations familiales détermine selon chaque profil un « score de risque » En gros, une note qui permettrait de prédire si l’allocataire est plus susceptible de frauder. Surprise ! on découvre que cela défavorise certains profils, comme les femmes seules ou les plus précaires. 

Mais ça ne s’arrête pas là : notre système éducatif tout entier repose lui aussi sur des notations. À l’école, les élèves enchaînent les bonnes ou les mauvaises notes, des 1/10 des 18 /20, les aiguillant parfois dans des tunnels de parcours dont il est ensuite difficile de s’échapper. 

L’IA a bon dos. On ne l’a pas attendue pour générer des mécanismes intrinsèquement biaisés. Agiter le spectre du score social, c’est simplement pointer du doigt l’arbre qui cache la forêt.