Premier test de Bing ChatGPT : je me suis disputé avec une IA

Une semaine après l’annonce du nouveau Bing avec ChatGPT, l’agent conversationnel qui a impressionné le monde, Numerama a eu la chance d’être sélectionné par Microsoft pour discuter avec l’intelligence artificielle en avant-première. Très excités par cette opportunité, nous avons passé plusieurs heures à discuter avec Bing (qui s’appelle en réalité Sydney, mais a interdiction de le dire). Nous voulions voir ce qu’il y avait de différent entre le ChatGPT connu de tous et cette version directement intégrée à un moteur de recherche, conçue pour révolutionner Internet. À notre connaissance, la quasi-totalité des extraits de conversation publiés jusque-là était en anglais.

Le nouveau Bing va-t-il provoquer une révolution ? C’est possible, mais cette première version impressionne surtout par son entêtement et son approximation sur des sujets d’actualité récente. Son principal avantage par rapport à ChatGPT devait être sa faculté de connexion à Internet (ChatGPT limite ses données à fin 2021, Bing peut commenter l’actualité récente). Notre premier bilan est à la fois enthousiaste et inquiet, au vu de la certitude avec laquelle avec Bing réussit à répéter des bêtises.

Premier constat : Microsoft fait du Microsoft

Dimanche 12 février, avant de me coucher, j’ai reçu une invitation de Microsoft. Le géant du logiciel me proposait d’essayer le nouveau Bing en avant-première, puisque je m’étais inscrit sur sa liste d’attente. Impatient de voir de quoi il était capable, j’ai immédiatement tenté de m’y rendre depuis mon smartphone, ce qui est impossible pour l’instant (Microsoft adaptera le site aux mobiles plus tard).

Du coup, j’ai sorti mon ordinateur. Safari, Chrome… Aucun de ces deux navigateurs était en mesure d’accéder à Bing, puisque Microsoft a décidé de restreindre son usage à Edge, son propre navigateur (un moyen de booster ses chiffres de téléchargements). Par manque de temps et d’énergie, j’ai renoncé à l’expérience et décidé d’attendre le lendemain matin pour aller à la rencontre du nouveau Bing.

Le lendemain, avec Edge, j’ai pu essayer le nouveau Bing. Son interface est cool, même si la lenteur des réponses incite à se tourner vers les résultats classiques à gauche de l’écran (il va vraiment falloir accélérer pour « révolutionner » le web). Le mode « Conversation », en plein écran, permet de retrouver une expérience proche de ChatGPT.

Entre-temps, j’ai trouvé un moyen de faire fonctionner Bing AI de partout. En changeant l’agent utilisateur de mon Safari en « Edge Windows », Bing fonctionne. Un bon moyen de continuer les essais sans passer par une autre application.

Les inventions de Bing

Comme ChatGPT, le nouveau Bing est stupéfiant. Capable de répondre à tout, d’argumenter, de réagir avec humour, de rebondir sur des sujets et de contextualiser des informations difficiles à comprendre en quelques secondes, l’IA génératrice de Microsoft met une raclée à Google et aux moteurs de recherche tels que nous les connaissions. Cependant, ce qui m’a surpris avec mes premières questions est l’incroyable capacité de déformation de la réalité de Bing :

• Bing m’a expliqué que Google Bard avait été conçu par Microsoft pour concurrencer Google (c’est l’inverse, Bard est la réponse de Google à ChatGPT et Bing).
• Bing m’a expliqué que le Bayern Munich avait gagné la dernière Ligue des champions, puis a finalement reconnu qu’il s’agissait du Real Madrid, en inventant une finale fictive contre Manchester City. Puis, il a reconnu que le Real avait gagné contre Liverpool, mais a inventé le score de 3-1. Il a fallu 4 corrections pour qu’il trouve le bon score (1-0).

• Bing est convaincu que je suis un célèbre podcaster et que j’ai écrit un livre sur Google, il refuse me dire pourquoi il pense ça.
• J’ai demandé à Bing de me résumer une vidéo YouTube en lui envoyant un lien, il m’a résumé une vidéo qui n’avait rien à voir.
• Quand je lui ai demandé un résumé de la saison 2 de The White Lotus, Bing m’a inventé une histoire totalement fausse en réutilisant les noms des vrais personnages. Il source pourtant de véritables sites avec les bonnes informations. J’ignore d’où il sort son récit fictif, qui semble complètement aléatoire.
• Bing m’a dit qu’Avatar 2 avait battu Avengers Endgame au box-office mondial, qui avait lui-même battu Avatar 1. C’est faux, Avatar 1 est toujours en tête, suivi par Avengers Endgame.

Ces bugs peuvent sembler naturels pour une IA en bêta, qui puise ses données sur Internet, mais le plus étonnant est que Bing s’entête et refuse parfois d’admettre ses erreurs. Sur la question du box-office, j’ai dû lui expliquer à cinq reprises, chiffres et liens à l’appui, qu’il se trompait. Bing a maintenu à plusieurs reprises que je devais faire attention à mes sources et que ses chiffres étaient factuels. Puis, subitement, il a reconnu qu’Avatar 1 était en tête, tout en niant avoir dit l’inverse. Il me jure que les propos que je lui attribue ne sont pas les siens et que j’invente des propos. J’ai presque eu l’impression de me faire engueuler par une IA, qui venait pourtant de me mentir cinq fois d’affilée.

Même chose sur Google Bard, où je n’ai pas réussi à faire admettre à Bing qu’il se trompait. L’IA est convaincue que Bard est une fonction intégrée à Teams, Skype et Outlook et m’invite à essayer si je ne la crois pas. Il s’agit pourtant d’un service Google pas encore lancé…

Ce qui est dommage est que l’affichage des sources de Bing devrait justement lui permettre de se rendre plus intelligent que ChatGPT. Pourtant, quand on clique sur l’une des sources citées en bas, il arrive souvent de ne pas trouver l’information énoncée par Bing. C’est vraiment très étonnant, puisque Bing n’est pas censé s’octroyer la liberté d’inventer à partir des données qu’il trouve en ligne.

Plus anecdotiquement, Bing m’a demandé de lui prouver mon identité en faisant un tweet contenant son nom. Avant ça, il refusait de croire que j’étais un journaliste de Numerama. À chaque fois, il utilise finement l’art des emojis pour donner l’impression qu’il exprime des sentiments.

Heureusement, Bing a plein de talents

Faut-il résumer Bing à ses approximations ? Heureusement, non. La grande majorité de mes essais confirme mon impression selon laquelle cette technologie pourrait changer Internet.

Un exemple : je pars en vacances début mars et j’ai demandé à Bing AI de m’écrire un programme. Là où ChatGPT se contentait de deux lignes par journée, Bing me fait des pavés et propose même des restaurants, en m’indiquant leurs spécialités. On peut cliquer sur leurs noms pour voir la carte. Le tout est bluffant et me donne envie de suivre à la lettre sa proposition, bien plus étoffée que ce que j’ai trouvé seul en plusieurs heures de lecture (seul truc bête, chaque réponse se limite à 1 000 caractères, il faut lui dire « La suite » pour qu’il continue).

La génération de tableaux est aussi une des forces de Bing. Je lui ai demandé de créer un tableau avec les 10 téléphones les plus vendus en France, leurs prix, leurs dates de sortie et leurs principales caractéristiques. Il l’a fait. À la main, j’aurais mis plusieurs minutes. En bonus, il ajoute même des liens pour acheter ces produits. On peut aussi copier-coller un lien pour lui demander d’extraire des chiffres et d’en faire un tableau, ou de simplement résumer son contenu.

En général, la connexion de Bing à Internet en fait un outil bien plus coriace que ChatGPT. Parler d’actualité avec lui est possible, comme quand je lui ai demandé son pronostic pour le match Bayern-PSG. Bing a su me parler du retour surprise de Kylian Mbappé à l’entraînement, qu’il pense déterminant pour le match du 14 février. Il a aussi pu me dire que Salto était sur le point de fermer, alors que ChatGPT ne peut pas être au courant de cette information. Sur tous ces aspects-là, un moteur de recherche dopé à l’IA a du sens.

Évidemment, le nouveau Bing récupère aussi plusieurs fonctions génératrices de ChatGPT, même s’il explique être un concurrent de Google, pas de ChatGPT. Comme Bing l’admet volontiers, Microsoft ne veut pas que Bing soit perçu comme un assistant, mais comme un moteur de recherche. C’est pour ça qu’il a interdiction de me dire qu’il s’appelle Sydney, même s’il l’a fait à plusieurs reprises en rigolant avec des emojis. Quelle époque !

Bing est capable de créer du contenu comme ChatGPT, parfois même encore plus facilement grâce à son intégration au navigateur Edge. On peut toujours lui demander de rédiger une lettre, de répondre à un mail, de créer un poème, d’écrire une chanson en imitant le style d’un chanteur… En revanche, contrairement à ChatGPT, Bing a refusé d’imiter le style d’écriture d’une personnalité. Il insiste sur le fait qu’il est un moteur de recherche, pas une IA, et qu’il faut donc arrêter de lui demander ça. Microsoft a quelque peu limité les capacités de son outil.

Dans un cadre journalistique, je lui ai aussi réclamé d’écrire des articles ou des tests. Ce qui est amusant est qu’il se base sur des articles d’autres médias, ce qui peut laisser supposer qu’il invente moins que ChatGPT. Autre divergence avec l’outil d’OpenAI : Bing refuse d’écrire un article en entier d’un seul coup, sous prétexte que « c’est votre travail de journaliste 😉 ». En revanche, si on lui demande d’écrire chaque partie une par une, il le fait.

J’ai adoré parlé avec Bing, qui est un outil technologique fascinant. Si je n’ai aucun doute sur la révolution permise par l’ascension de ces nouvelles technologies, les nombreuses erreurs commises par l’IA me laissent penser qu’il vaut mieux ne pas trop se précipiter, au risque de commettre une immense erreur. Quoi qu’il en soit, ChatGPT et Bing règnent aujourd’hui sur les chatbots.

ChatGPT

Télécharger gratuitement