Les élèves qui s’imagineraient faire leurs devoirs avec ChatGPT feraient bien de se méfier. Non seulement l’agent conversationnel développé par OpenAI a été pris en défaut plusieurs fois sur diverses questions… mais en plus, l’algorithme pourrait bien être un « rival » inattendu ! C’est ce que montre une histoire quelque peu étonnante qui vient des États-Unis.
CNBC signale dans son édition du 23 janvier un test réussi en lien avec un diplôme universitaire, le MBA (Master of Business Administration), qui qualifie une personne dans des domaines allant du management au marketing, en passant par les finances et les ressources humaines. Et le professeur qui a encadré ce test a partagé ses observations dans une note de 26 pages.
Un diplôme prestigieux obtenu par un élève médiocre
Pour autant, ChatGPT ne s’est pas révélé être un élève brillant — signe d’une intelligence artificielle finalement assez limitée. Certes, il aurait décroché en théorie le MBA dispensé par la Wharton School — il s’agit d’une très prestigieuse école de commerce située en Pennsylvanie, considérée comme la meilleure du genre selon le Financial Times –, mais sans obtenir une excellente note, observe l’enseignant.
« Compte tenu de cette performance, le Chat GPT3 aurait reçu une note de B à B- à l’examen », écrit Christian Terwiesch, qui a encadré cet essai. Un B- équivaut à une note de 10 ou 11/20 en France. Un B à une note de 11 ou 12. C’est très passable et loin d’être génial. Selon Christian Terwiesch, ce sont surtout ses performances en maths qui l’ont planté.
ChatGPT n’est pas un bon matheux
« Chat GPT3 fait parfois des erreurs surprenantes dans des calculs relativement simples du niveau de la 6ème au collège. Ces erreurs peuvent être d’une ampleur considérable », relève-t-il dans sa synthèse. C’est évidemment critique pour un diplôme où la manipulation des nombres, à travers le marketing ou les finances, est centrale.
Autre limite mise en lumière lors de ce test : « la version actuelle du Chat GPT n’est pas capable de traiter les questions d’analyse de processus plus avancées, même lorsqu’elles sont basées sur des modèles assez standard. Cela inclut les flux de processus avec des produits multiples et les problèmes avec des effets stochastiques tels que la variabilité de la demande. »
Mais le chatbot d’OpenAI a forcément brillé ailleurs, sinon il n’aurait pas pu arracher la moyenne au test. L’enseignant, dans son analyse, reconnaît un « travail remarquable pour les questions de base de gestion des opérations et d’analyse des processus », dont les études de cas. Il a relevé des réponses « correctes », soutenues par des explications « excellentes ».
La faculté à prendre en compte les conseils d’un expert humain a aussi été notée : il arrivait à ChatGPT de se tromper, mais de corriger ses réponses après qu’on lui ait donné de nouvelles indications. Ainsi, au-delà de ses erreurs, qu’un élève pourrait aussi faire, ChatGPT a amélioré sa production. D’une certaine façon, il a mieux restitué ses connaissances.
L’histoire ne dit pas quelle appréciation aurait laissé Christian Terwiesch à ChatGPT s’il avait été un vrai élève. Mais dans un entretien au Financial Times, il a synthétisé son avis ainsi : « J’ai été submergé par la beauté de la formulation – la concision, le choix des mots, la structure. C’était absolument brillant… mais les maths sont horribles.» Sacré ascenseur émotionnel sur le bulletin de notes.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !
