Une IA doit-elle nous dire quand on ne peut pas lui faire confiance ?

Les intelligences artificielles sont de plus en plus déployées dans une multitude de domaines où elles accompagnent des décisions. Et ces décisions peuvent affecter des êtres humains. Sur la base de ce constat, une équipe de recherche du MIT s’est penchée sur une méthode de deep learning visant à entraîner les IA à reconnaître et signaler « elles-mêmes » leurs limites. Le document de présentation du modèle est disponible en ligne depuis fin novembre 2020.

« Nous avons besoin non seulement d’avoir des modèles de haute performance, mais de comprendre quand l’on ne peut pas avoir confiance en ces modèles », a expliqué sur le site du MIT, Alexander Amini, l’un des ingénieurs travaillant sur le projet, le 20 novembre. Lorsque le résultat que les IA produisent est potentiellement peu fiable, il faut que l’alerte remonte donc automatiquement et immédiatement.

Les systèmes de détection automatique ne sont pas au point.

Source : Capture d'écran Vimeo

Les intelligences artificielles sont aujourd’hui utilisées dans des domaines comme les réseaux sociaux, les moteurs de recherche, la reconnaissance faciale, mais aussi dans des cadres médicaux par exemple. Ces réseaux de neurones artificiels connaissent « la bonne réponse » dans 99 % des situations, mais lorsque des vies peuvent entrer en jeu, le 1 % restant fait toute la différence.

Deep Evidential Regression

« Nous nous intéressons à ce 1 %, et comment détecter efficacement et avec fiabilité ces situations », indique Alexander Amini. Cette marge d’incertitude est connue des ingénieurs depuis longtemps, mais la plupart des techniques sont lourdes informatiquement avec du deep learning, nécessitant la répétition de plusieurs opérations (le réseau de neurones artificiel doit « tourner » plusieurs fois jusqu’à ce que l’on connaisse sa fiabilité). Ces techniques prennent trop de mémoire, trop de temps. Puisque les IA prennent en charge des flux de données toujours plus massifs, ces chercheurs d’Harvard estiment que les anciennes techniques ne sont plus adaptées.

Ils surnomment leur méthode « deep evidential regression » et elle n’a besoin que d’une seule opération pour définir un niveau de confiance (le réseau de neurones artificiel n’a besoin de ne tourner qu’une seule fois pour son évaluation). Le modèle qu’ils ont conçu produit non seulement un résultat, mais aussi, toutes les preuves qui appuient cette décision. Ce faisant, à chaque résultat, l’IA fournit ce qu’on appelle une « distribution probabiliste » : cela signifie que l’on a accès directement au niveau de confiance de la prédiction, au moment même où celle-ci est rendue. Cette distribution probabiliste peut même aider à trouver la cause de l’incertitude, et si cela vient du réseau de neurones, qu’il faut donc recalibrer, ou si cela vient des données analysées.

Imaginez une voiture autonome arrivant à une intersection, et se présentent à elle plusieurs choix de voies. Dans un modèle de deep learning traditionnel (bayésien), elle aurait besoin de simuler chaque choix de voie pour délivrer un niveau de confiance dans la meilleure voie à prendre. Ce serait assez lent. Dans le modèle du MIT en deep evidential regression, la voiture propose plus rapidement — immédiatement, en fait — un niveau de confiance dans son choix de voie ; on sait donc d’emblée si le choix est potentiellement risqué ou non. Cela devient tout de suite plus important si la voiture autonome doit déterminer si, en détectant un passant au loin, elle doit s’arrêter ou juste ralentir, par exemple. L’affichage d’un niveau de confiance et la rapidité de cet affichage apparaissent comme des enjeux humains.

Pour aller plus loin

De Battlestar Galactica à Boston Dynamics : pourquoi fait-on des robots qui nous ressemblent ?

C’est bien pour cela que les chercheurs du MIT pensent que le modèle de deep evidential regression pourrait améliorer la sécurité dans la prise de décision assistée par une intelligence artificielle. « Nous commençons à voir de plus en plus de ces modèles [de réseaux neuronaux] sortir des laboratoires de recherche et pénétrer dans le monde réel, dans des situations qui concernent les humains, avec des conséquences potentiellement mortelles. Tout utilisateur de la méthode, qu’il s’agisse d’un médecin ou d’une personne sur le siège passager d’un véhicule, doit être conscient de tout risque ou incertitude associés à cette décision », commente Alexander Amini.