Faut-il des commissaires à l’IA comme on a des commissaires aux comptes ?

C’est un euphémisme que de dire que les algorithmes prennent une place de plus en plus importante dans la société. À tel point d’ailleurs que le Règlement général sur la protection des données (RGPD) prévoit, dans son article 22, le droit « de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé », lorsque celui-ci produit en plus des effets juridiques sur un individu.

C’est notamment pour cela que le dispositif Admission Post-Bac a été fermé en 2017, après intervention de la Commission nationale de l’informatique et des libertés (CNIL), parce qu’il ne laissait aucune place à une intervention humaine. Ce cas, très médiatisé à l’époque, a bien montré l’enjeu des contrôles. Mais devant l’explosion des traitements algorithmiques, la CNIL risque de ne pas pouvoir suivre.

Faut-il dès lors déléguer une partie de ce travail à une nouvelle catégorie professionnelle, à inventer ? C’est en tout cas vers une piste de cette nature que s’oriente la commission supérieure du numérique et des postes (CSNP). Cette instance parlementaire, qui mêle des membres de l’Assemblée nationale et du Sénat, ainsi que des personnalités qualifiées, suggère en effet la création d’un commissaire à l’IA.

Vers la création de commissaires aux algorithmes ?

Ce nouveau poste s’inspirerait concrètement des actuels commissaires aux comptes qui ont la charge de certifier la validité des comptes financiers des entreprises et des groupes économiques. Ce commissaire aux algorithmes aurait alors la tâche de certifier de façon régulière les systèmes d’intelligence artificielle, pour vérifier qu’ils respectent bien l’esprit et la lettre de la loi.

Comme le souligne l’administration, la désignation d’un commissaire aux comptes dépend de plusieurs facteurs, comme la taille de l’entreprise, son chiffre d’affaires ou son bilan. Il est indépendant de l’organisation qu’il contrôle et est membre d’une profession libérale réglementée. Il dispose notamment d’un droit d’alerte en cas d’irrégularités dans la gestion du personnel dirigeant.

Contenue dans l’avis n°2020-08 du juin 2020 consacré au livre blanc européen sur l’IA, la proposition de la CSNP n’entre pas dans le détail, mais il est attendu que ce commissaire aux algorithmes épouse dans les grandes lignes les mêmes spécificités que la fonction de commissaire aux comptes. À ceci près qu’il se focaliserait sur les algorithmes, en tout cas ceux d’organisations répondant à certains critères.

De la même façon que l’on certifie des comptes d’entreprises, les algorithmes seront peut-être aussi contrôlés et validés par des intervenants externes. // Source : Mozilla

Parmi les missions de ce commissaire aux traitements algorithmes pourrait par exemple figurer l’inspection de systèmes pour s’assurer que les décisions qu’ils prennent ne sont pas entièrement automatisées. Il pourrait aussi leur être demandé de s’assurer qu’il n’y a pas de biais grossier dans le fonctionnement du traitement, de dérive ou d’abus. Dans ce domaine, tout reste à écrire.

Ce poste de commissaire à l’IA va évidemment requérir une très solide connaissance en programmation et en logique, pour comprendre les tenants et les aboutissants de telle ou telle instruction informatique, mais de la même façon qu’un commissaire aux comptes doit avoir une excellente maîtrise de la comptabilité et des règles juridiques afin de démêler des livres de comptes pas toujours bien tenus.

Des inconnues restent à lever avec cette proposition, qu’il s’agisse des implications en matière de secret des affaires, puisque la compétition économique se fait désormais à coups d’algorithmes, mais aussi de l’accès aux entrailles de services fournis par des entreprises étrangères. Pour le dire vite, l’ouverture de Google ou d’Amazon ne paraît pas simple à obtenir.

Transparence et explicabilité du code

Ces dernières années, l’enjeu de l’explicabilité des algorithmes a pris une place croissante. Dans un rapport remis en 2018 sur l’éthique en IA, le député et mathématicien Cédric Villani prévenait « qu’une société algorithmique ne doit pas être une société de boîtes noires ». Il faut pouvoir les ouvrir, les expliquer, que ce soit d’ailleurs au grand public, à des pairs ou à des autorités publiques.

Un enjeu sur lequel travaille le jeune comité pilote d’éthique du numérique, notamment dans le domaine médical, où il est aussi évoqué les nécessités de transparence et de description des instructions informatiques, pour les professionnels de santé comme pour le public, particulièrement lorsqu’elles ont des incidences sur un patient, avec à la clé des risques sanitaires plus ou moins marqués.

Dans son avis, le CNSP a par ailleurs formulé une seconde proposition. Lorsqu’un système algorithmique a des conséquences sur les individus, sa transparence doit être imposée : l’accès aux algorithmes et aux ensembles de données de tests doit être garanti, afin « de vérifier la reproductibilité des traitements algorithmiques, l’absence de dérives et de biais dans le temps et leur contrôle ».

Le CNSP suggère de confier ces missions aux autorités indépendantes existantes, notamment celles en charge de la protection des données personnelles, comme la CNIL en France, mais à condition qu’elles aient les moyens adéquats pour les exercer correctement. Cette tâche pourrait inclure des représentants de la société civile, comme des associations.