« ChatGPT m’a dit que… » : c’est une erreur de croire que l’on discute avec l’IA

Certains risques liés à l’usage de l’IA générative, et en particulier d’agents conversationnels comme ChatGPT, commencent à être bien décrits et assimilés par les utilisateurs. C’est le cas pour ce qui concerne leurs coûts financier et environnemental déraisonnables, le besoin de protection des données (comme évoqué dans cette publication de la CNIL) ou le rôle croissant de ces outils comme porte d’entrée sur Internet.

Cependant, un autre phénomène, probablement plus diffus et plus insidieux, est encore mal décrit et pris en compte. De par sa fonction d’agent conversationnel, nous projetons de facto sur ChatGPT des fonctions cognitives similaires à celles qu’un interlocuteur humain pourrait développer. Se tourner vers les sciences cognitives va permettre de mieux comprendre leur nature, les interactions qui vont en résulter et les risques associés. Cette caractéristique primordiale des chatbots provoque en effet une mécompréhension de leur fonctionnement par l’utilisateur et donc un excès de confiance dans leurs résultats.

Les deux chemins de la cognition humaine

La cognition humaine se caractérise par une dualité bien documentée. D’une part, nous avons la capacité d’aborder un problème en considérant explicitement ses caractéristiques. Nous délibérons intérieurement et utilisons un raisonnement prospectif (« Que se passerait-il si… »). Ce traitement est lent et représente un coût cognitif important, mais permet de s’adapter de façon flexible à une nouvelle situation et d’expliciter sa démarche. D’autre part, si la même situation se reproduit régulièrement, nous allons pouvoir automatiser notre prise de décision et réagir de façon automatique sans traiter tous les détails. Cela a un coût cognitif bien moindre et avec un traitement plus rapide.

Cette automatisation n’est possible qu’après de nombreux essais et elle se caractérise donc par un apprentissage très lent. Si cette décision, plus inflexible et moins consciente, aboutit à une erreur, il faudra « reprendre les commandes », c’est-à-dire revenir à l’analyse explicite de la situation pour comprendre ce qui a changé et s’y adapter. Cette dualité se retrouve dans la description de deux modes de pensées (dits système 1 et système 2) ou encore en neurosciences cognitives, par la distinction entre mémoires implicite et explicite.

ChatGPT

Télécharger gratuitement

Quel peut-être le profil cognitif d’un agent conversationnel comme ChatGPT ?

Il convient maintenant de souligner que les fonctions cognitives que les IA génératives sont supposées prendre en charge (comme le langage, le raisonnement ou l’imagination) relèvent chez les humains de la mémoire explicite et du système 2, le système flexible et délibératif. Elles utilisent ce que l’on appelle les fonctions exécutives, qui supposent en général un contrôle cognitif explicite du comportement.

Mais quand on regarde comment ChatGPT a été construit pour simuler ces fonctions cognitives, on se rend compte que sa structure repose sur un réseau de neurones artificiels entraîné par le même algorithme d’apprentissage que celui de réseaux qui réalisent des fonctions élémentaires de reconnaissance, qui sont fondamentalement de type implicite (système 1). En bref, ces fonctions cognitives sont chez l’humain traitées en mode système 2, de façon explicite et coûteuse en temps et en efforts cognitifs, alors que les modèles artificiels qui restent en mode système 1, continuent à privilégier un traitement implicite par calcul massif et rapide. Et ce, même si ChatGPT présente certains principes astucieux, comme son mécanisme attentionnel qui permet de replacer chaque mot dans le contexte de sa phrase.

Les 3 limitations fondamentales de l’être humain

La façon dont le cerveau humain réalise des traitements cognitifs explicites découle de trois limitations fondamentales. Premièrement, nous avons une limitation en temps de calcul : nous devons parfois nous adapter rapidement à des situations nouvelles (en particulier si elles sont potentiellement dangereuses). Pour cela, nous avons développé des capacités d’apprentissage rapide par lesquelles un ou deux exemples nous suffisent à nous adapter à une nouvelle situation ou à retenir certaines de ses caractéristiques. Ce n’est pas le cas de ChatGPT. Si son temps de traitement est très rapide, il requiert au préalable un apprentissage massif nécessitant des milliards de mots et pouvant durer des semaines.

Deuxièmement, nous avons une limitation en puissance de calcul. Nous vivons depuis des milliers d’années avec à peu près le même cerveau, dans un monde qui est devenu de plus en plus complexe. Et ce cerveau à des contraintes énergétiques majeures qui limitent drastiquement notre mémoire de travail, c’est-à-dire le nombre d’informations que nous pouvons traiter en même temps, ou la fréquence de fonctionnement de nos neurones. Alors que les ordinateurs modernes, toujours plus efficaces et rapides, enchaînent les records de puissance de calcul et de capacité de stockage.

Le moyen que notre cognition a trouvé pour faire face à ce problème est d’apprendre à décomposer les problèmes complexes en sous-problèmes plus simples à résoudre (comme mémoriser des étapes intermédiaires au lieu d’apprendre directement un trajet compliqué), ce qui nous a amenés à organiser notre comportement dans le temps et nos connaissances en niveaux d’abstraction. ChatGPT n’a pas ce type de contrainte et peut aborder directement des problèmes qui dépassent notre entendement, par exemple faire la synthèse de milliers de textes.

Troisièmement, nous avons des problèmes de communication. Alors qu’il existe des techniques pour qu’un réseau de neurones puisse simplement transférer ce qu’il a appris à un autre réseau, nous n’avons pas la possibilité de nous instruire auprès d’un autre être humain en nous connectant directement à son cerveau. À la place, nous avons développé des « stratégies » comme le langage, l’éducation ou la culture qui nous obligent à apprendre à nous expliquer et à communiquer.

L’illusion d’un échange avec l’IA

On pourrait bien sûr discuter plus avant pour savoir si ces limitations (qui permettent aussi d’expliquer certains de nos biais cognitifs) en sont vraiment, ou plutôt si elles sont parmi les meilleurs atouts de notre cognition : apprentissage rapide, organisation structurée des connaissances et explication de nos acquis. Mais il est cependant important de constater qu’elles rendent notre façon d’aborder les problèmes fondamentalement différente des traitements implicites et massifs réalisés par ChatGPT.

Ceci est à la source d’une ambiguïté majeure : alors que ChatGPT est un système complexe comportant des milliards de paramètres, entraîné à partir de milliers de milliards de données pour apprendre à prédire la suite de mots la plus probable, il cache cette complexité derrière sa fonction d’agent conversationnel qui nous parle. Par simple projection, comme on le fait quand nous parlons avec nos semblables, nous développons cette illusion d’interagir avec un agent intelligent, qui pense, ressent et comprend comme nous. Ce qui fait que, pour comprendre ces systèmes dont la complexité nous dépasse, nous en sommes à demander à des psychologues d’interpréter leurs raisonnements et de découvrir leurs biais.

Les sciences humaines et sociales auscultent les relations avec ChatGPT

Une étude publiée par le Boston Consulting Group menée sur des professionnels utilisant ChatGPT illustre bien cette dualité. D’une part, elle rapporte que ces professionnels sont plus productifs et plus objectifs (ChatGPT leur permet de traiter rapidement des problèmes complexes et évite certains de nos biais) mais d’autre part, elle souligne des problèmes dus à cette illusion que nous avons que ChatGPT nous est semblable.

Les performances chutent drastiquement quand ChatGPT fait des erreurs ou quand le problème dépasse nos compétences ? En effet, en travail collaboratif, nous faisons confiance aux personnes perçues comme plus expertes que nous. Les productions de ChatGPT tendent à homogénéiser les résultats produits ? Pas surprenant pour un traitement statistique massif, comparé aux vues originales et parfois même divergentes que nous pouvons avoir. Nous sommes satisfaits par une proposition de ChatGPT qui n’est qu’une prédiction étayée par aucun raisonnement ? Là aussi, les sciences cognitives indiquent qu’en dehors de nos domaines d’expertise, des prédictions assénées avec assurance nous donnent l’illusion de comprendre et que nous faisons confiance à des explications réductrices.

Nous risquons de perdre en compréhension et en créativité

Ainsi, ces outils numériques, qui peuvent nous aider à produire plus, peuvent aussi nous entraîner, si on les considère comme des partenaires cognitifs, à moins comprendre et moins pouvoir expliquer ce que l’on fait, à commettre des erreurs, à ne pas nous rendre compte que notre espace de recherche s’est réduit et appauvri.

Plus encore, si ces usages se généralisent, on pourrait aller vers une homogénéisation de notre culture, due à des outils créés par des entreprises privées dont les algorithmes aussi bien que les valeurs sont souvent obscurs. Cela risquerait de progressivement éliminer la diversité de nos expériences et notre subjectivité alors que les sciences cognitives ont bien montré que des groupes avec de la diversité (de genre, d’ethnie, de culture) sont meilleurs pour résoudre des problèmes et être créatifs.

Il devient donc crucial d’insister sur l’éducation aux outils numériques des jeunes générations et la formation de certains acteurs clés (formateurs, médias, entreprises, politiques) pour les sensibiliser aux principes qui gouvernent ces systèmes. Il est impératif d’apprendre à les utiliser à bon escient, et de former l’esprit critique de ces acteurs envers certains risques, en particulier dans le domaine cognitif.

Frédéric Alexandre, Directeur de recherche en neurosciences computationnelles, Université de Bordeaux, Inria

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.