Pour éviter que les robots fassent des erreurs dangereuses, doit-on intégrer des contraintes dans leur code source ?

Les robots sont souvent conçus pour nous ressembler physiquement. Certains ingénieurs espèrent même leur conférer des formes d’émotions, si ce n’est un instinct de survie. Mais qu’en est-il de la sécurité des êtres humains face à ce développement de l’intelligence artificielle ? Dans un futur où elles feraient partie de notre quotidien, ce sujet serait primordial. C’est justement l’objet d’une publication parue dans Science en novembre 2019. Une équipe de chercheurs américains propose un système qui permettrait d’inscrire des notions de sécurité et d’équité dans des algorithmes de machine learning. Objectif : « éviter le comportement indésirable de machines intelligentes ».

L’écrivain de science-fiction Isaac Asimov est le premier, dès le milieu du 20e siècle, à avoir imaginé les implications d’un quotidien rempli de robots. Très tôt, il s’est rendu compte que des problèmes éthiques pourraient se poser dans une telle cohabitation. Dans son Cycle de Robots, publié sous forme de nouvelles puis de recueils à partir de 1950, il a développé trois lois :

• 1) Un robot ne peut porter atteinte à un être humain, ni, restant passif, permettre qu’un être humain soit exposé au danger ;
• 2) Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première Loi ;
• 3) Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième Loi ;

Dans des romans ultérieurs, à savoirTerre et Fondation et Prélude à Fondation, l’écrivain ajoute la « loi zéro ». Elle est supérieure, car aucune des trois autres lois ne doit la contredire. Elle énonce qu’un robot ne peut pas porter atteinte à l’humanité, ni, par son inaction, permettre que l’humanité soit exposée au danger.

Les robots d'Isaac Asimov (comme ici l'Homme bicentenaire) ont en général parfaitement intégré les lois.

Source : Columbia Pictures

Philip Thomas, qui dirige l’étude publiée dans Science, précise dans le communiqué de l’université qu’ils se sont directement inspirés de cet esprit asimovien. D’ailleurs, ils nomment « Seldonian » les algorithmes issus de leur approche, en référence au personnage principal de la série Fondation d’Isaac Asimov. Chronologiquement, les œuvres de Fondation se déroulent plusieurs millénaires après le Cycle des Robots.

Pour aller plus loin

De Battlestar Galactica à Boston Dynamics : pourquoi fait-on des robots qui nous ressemblent ?

Des contraintes basées sur la probabilité

« Quand quelqu’un applique un algorithme de machine learning, c’est difficile de contrôler son comportement », constate Philip Thomas. C’est justement ce problème qu’est censé régler l’algorithme Seldodien. Concrètement, ce dernier ajoute une fonctionnalité dans les codes de machine learning : elle permet à l’utilisateur de définir auprès de la machine ce qu’est un mauvais comportement. Si cela peut paraître tout bête, les auteurs de l’article rappellent que c’était pourtant un véritable vide jusqu’ici. « La plupart des algorithmes ne vous donnent aucun moyen d’ajouter ce type de contraintes sur le comportement ; ce n’était pas inclus dans les premières conceptions. »

Philip Thomas indique qu’ils ont expérimenté cette fonctionnalité pour des utilisations médicales. Dans le cas d’une IA impliquée dans les systèmes permettant de traiter le diabète, il est possible de spécifier une option selon laquelle un « mauvais comportement » implique l’hypoglycémie. De fait, si l’algorithme est chargé d’améliorer la pompe à insuline, alors il accomplira sa tâche en évitant tout chemin menant d’une quelconque façon à une hypoglycémie.

Si des IA, voire des robots, doivent nous aider pour des tâches du quotidien (par exemple médicales), ils doivent le faire en toute sécurité.

Source : Quantic Dreams

Dans le communiqué de l’université, les chercheurs expliquent qu’Isaac Asimov avait saisi de lui-même une limite à ses lois. Elles impliquent que le robot soit sûr et certain de ne pas violer les lois avant d’agir. Or, c’est cette rigidité de la certitude qui a mené à l’effondrement de l’Empire et, ainsi, au monde dans lequel évolue Hari Seldon quelques millénaires après. Ils relèvent que dans Fondation, Seldon saisit que cette certitude aurait dû être remplacée par une notion de probabilité (une approche qui correspond bien à l’esprit mathématique du personnage). C’est à partir de ce principe que les chercheurs ont développé leur fonctionnalité de sécurisation.

Pour aller plus loin

Les robots doivent-ils avoir peur de mourir ?

Les IA doivent aussi être plus équitables

Si nous avons évoqué l’exemple médical de Philip Thomas, un « mauvais comportement » ne pose pas que ce problème de la sécurité. Il y a aussi la question de l’équité, ou plus largement de la justice. Au cœur de cet enjeu, ce sont les biais en raison du genre ou de la couleur de peau. Ce sont bien souvent des biais de conception, dès le code initial. Un exemple typique est à trouver récemment chez Goldman Sachs, partenaire de l’Apple Card : la carte de crédit a récemment fait polémique car elle serait sexiste. L’algorithme propose en effet des lignes de crédit plus faibles aux femmes qu’aux hommes. En ce qui concerne la couleur de peau, de récentes études montrent que certains algorithmes de reconnaissance faciale discriminent les femmes noires.

C’est un aspect que les chercheurs à l’origine de l’algorithme Seldonien ont également à cœur. En plus du test sur la pompe à insuline, leur seconde expérimentation consistait à développer un algorithme tout simple capable de prédire les moyennes scolaires de 43 000 élèves au Brésil. Le système qu’ils ont conçu, avec les fonctions de contraintes comportementales, a permis d’éviter tous les biais typiques de genre. Si les auteurs admettent qu’il faut encore de nombreuses améliorations à leurs travaux, ils estiment que c’est déjà un grand pas en avant pour cadrer les IA de manière plus sécurisée et équitable. « Nous espérons que les chercheurs en machine vont développer de nouveaux algorithmes plus sophistiqués en utilisant notre cadre », concluent-ils.