Connaissez-vous le paradoxe de R2-D2 ? L’IA sous influence humaine

À partir de ce paradoxe, cet article montre la persistance de la présence humaine dans l’intelligence artificielle. Il s’agit de dérouler et décrypter une incohérence – ou un non-temps – qui renvoie à l’attitude du robot R2-D2. Celui-ci, tout au long de la saga Star Wars, a joué à l’humain, avec la bienveillance ou la légèreté des scénaristes de l’épopée, et a pu s’appuyer sur une mémoire qui n’a jamais été effacée.

Mais si R2-D2 n’est pas amnésique alors, pourquoi n’a-t-il pas prévenu Luke du danger mortel que représentait son père ?

De quel paradoxe parle-t-on ?

La grande mythologie contemporaine qu’est la saga Star Wars nous embarque dans une séduisante incohérence. Elle met en tension le chevalier Jedi Luke Skywalker et son père, Anakin Skywalker, qui deviendra le maléfique et génial Dark Vador. C’est en 1980, dans L’Empire contre-attaque, réalisé par Irvin Kershner, que le célèbre « je suis ton père » va être clamé à la face du monde. Il met en scène d’un côté le père (Dark Vador) et de l’autre son fils (Luke Skywalker), mais il aurait du également mobiliser l’omniprésent et tout en rondeurs robot R2-D2 (Reel2/Dialogue2).

La question qui va poser problème est posée par une petite fille il y a quelques années déjà.

« Comme R2-D2 était là depuis le début de l’histoire et comme sa mémoire n’a jamais été effacée, alors pourquoi est-ce qu’il n’a pas simplement dit à Luke, à un moment donné, que Vador était son père ? »

C’est alors que son père – qui relate l’histoire – en est » resté planté là, sidéré, jusqu’à ce qu’elle hausse les épaules et s’en aille ».

Comment expliquer que R2-D2 – qui avait eu la chance de pouvoir compter sur sa mémoire alors que celle de son comparse bipède le droïde C-3PO avait été endommagée – ait eu l’idée, l’opportunité et la possibilité de cacher un tel secret ? Pourquoi ce droïde attachant et omniprésent – dont l’ancien maître est Obi-Wan Kenobi – n’a -t-il pas agi en mode IA ?

Quelles pistes pour aborder ce paradoxe ?

De nombreuses hypothèses sont disponibles sur le web. Elles ramènent toutes à accepter l’idée d’une certaine « humanité » du robot. Nous n’en proposerons ici que 6. H1 : R2-D2 n’aurait pas voulu briser le cœur de Luke. H2 : R2-D2 n’aurait pas immédiatement compris que Luke était le fils de son ancien compagnon humain car le nom de « Skywalker » pouvait être largement répandu sur Tatooine. H3 : R2-D2 voulait le laisser découvrir seul son destin. H4 : R2-D2 s’est interdit de spoiler la réplique de Dark Vador d’un bip-bip inélégant ! H5 : R2-D2 est fasciné par le sulfureux Dark Vador qu’il privilégie face à son fils qu’il trouve finalement insipide. H6 : Personne ne lui a posé la question. Dans les six cas, le robot n’agit absolument pas comme un robot dont la mission est de protéger son « propriétaire ».

Paradoxalement l’hypothèse la plus probable est celle d’un oubli des scénaristes. Cette hypothèse est aussi la plus réjouissante… il n’est pas d’intelligence artificielle sans (faillible) intervention humaine !

Pas d’intelligence sans apprentissage

L’intelligence artificielle, telle que nous l’appréhendons désormais, apprend en s’inspirant plus ou moins directement de la logique d’apprentissage de l’être humain. Elle va néanmoins changer nos vies. Elle procède en se basant sur les fonctions cognitives les plus classiques : langage naturel, vision, mémoire, calcul, analyse, comparaison, reproduction, traduire, jouer, etc.

L’intersection de l’intelligence artificielle avec la psychologie cognitive et les sciences cognitives explique la part d’humanité de l’IA – et donc la part d’humanité du robot R2-D2 – en s’inspirant de l’intelligence biologique et des mécanismes humains de développement des connaissances.

Nous pouvons noter ensuite que l’apprentissage par observation est commun à l’humain et l’IA et qu’une complémentarité apparaît. Le machine learning supervisé permet aux processus de l’IA d’apprendre et même de s’améliorer grâce aux erreurs et aux retours humains lui proposant de mieux catégoriser les données d’entrée. Il va ensuite améliorer l’exactitude et la fiabilité des données de sortie. Nous notons aussi qu’un apprentissage non supervisé est également possible en IA. Il s’agit d’un apprentissage autonome qui n’a pas besoin d’un signal d’erreur pour se corriger. Dans le cas humain, nous faisons référence à la loi de Hebb pour comprendre certaines fonctions cognitives comme la mémoire par exemple, cette loi renvoie aux neurones qui s’activent ensemble et se relient entre eux, pour former des connexions qui se renforcent avec le temps.

Nous évoquons aussi l’apprentissage par renforcement qui renvoie à l’apprentissage par récompense (la carotte) ou par punition (le bâton). Là encore, les humains et les machines intelligentes sont proches. La récompense est associée à un objectif déterminé par les programmeurs, ce qui va entraîner une multiplication des tentatives et calculs pour explorer toutes les possibilités et atteindre ce but et donc, la récompense. Enfin, le deep learning est aussi un type d’apprentissage. Il s’inspire du fonctionnement du cerveau humain en faisant appel aux réseaux de neurones artificiels couplés aux algorithmes. Cette approche a mis en lumière la force de frappe des systèmes experts. Ces technologies à interface neuronale, couplées avec les données massivement collectées par les plates-formes sont déjà déployées dans de nombreux secteurs comme le militaire, l’industrie et la santé.

Pas d’artifice sans (un peu d’) humanité

À ce stade des applications en IA, il est important de mettre en lumière 4 points communs entre les intelligences artificielles et humaines :

• Il convient de s’appuyer sur des connaissances communiquées par l’entourage ou par l’environnement proche
• Il convient de tenir compte des expériences passées
• Il convient de produire des outputs dépendant des données d’entrée
• Il convient de douter et d’identifier les biais cognitifs

Enfin, pour revenir à R2-D2 et à son humanité, il semble important de signaler que les contraintes et défis éthiques sont également présents chez les machines dites intelligentes. Ainsi, une machine ne peut pas – ne doit pas ? – être seule en capacité de décider de la mort d’un humain. Nous pensons en effet qu’il n’est pas souhaitable qu’une machine puisse devenir une arme totalement autonome.

L’humain doit donc faire attention à ne pas s’exclure lui-même des processus de décisions des machines. Il doit pouvoir garder le contrôle in fine surtout face à l’utilisation de langages spécifiques (les émotions, la haine, l’humour, l’ironie, la provocation, la poésie de Brassens, etc.) qui n’implique pas forcément la compréhension du sens des mots, de la phrase, de l’image, du contexte par la machine intelligente.

Pas d’autonomie sans (un peu de) contrôle humain

L’individu apprend pour s’adapter et survivre. Il apprend de ses parents et de son entourage les premiers mots, dans des contextes bien déterminés, puis il essaye de les comprendre, de les recontextualiser. La machine intelligente apprend pour produire un bien ou un service. Depuis les premières expériences de 1955, elle s’appuie sur une page qui n’est jamais blanche, mais qui ressemble à une vaste base de données dont elle ne comprend pas le sens. Son propos est d’essayer d’identifier des corrélations, de caractériser des similitudes et de tenter d’apporter des éléments de réponse en langage compréhensible par un humain et/ou par une autre machine. La compréhension, les décisions et les retours de l’intelligence artificielle sont purement statistiques, logiques et mathématiques. C’est d’ailleurs pourquoi la Commission européenne a publié récemment les « règles harmonisées » de l’AIA pour réguler ses usages et modifier certains actes législatifs de l’union.

Néanmoins, en situations extrêmes, il est souvent délicat d’expliquer les décisions prises par une IA, parce que la boite noire qui nous propose la donnée de sortie n’est pas en mesure de nous expliquer la logique suivie – excepté pour des logiques comme celle de Hoare – à partir des données d’entrée. Le paradoxe d’un R2-D2 un peu plus faillible que la machine qu’il est censé être, reste en cela une bonne nouvelle, c’est la preuve qu’un humain est donc bien derrière ce scénario !

Marc Bidan, Professeur des Universités – Management des systèmes d’information – Polytech Nantes, Auteurs historiques The Conversation France et Meriem Hizam, Doctorante en management des systèmes d’information, Université de Nantes

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.