Une solution pour ne plus être embarrassant pendant un entretien d’embauche ou lors d’un rendez-vous romantique ? C’est ce que se vante de proposer Bryan Chiang. Sur Twitter, cet étudiant de Stanford, et inventeur à ses heures perdues, a partagé des images et une vidéo d’un prototype d’une surprenante paire de lunettes dotée d’intelligence artificielle.
« Nous avons fabriqué rizzGPT — un outil de Charisme as a Service en temps réel. Il écoute votre conversation, et vous dit exactement quoi dire après ». La vidéo incluse dans le tweet donne le ton : lors d’une conversation simulant un entretien d’embauche, les lunettes entrent en action. Elles entendent la question posée, et quelques secondes plus tard, une réponse écrite apparaît dans les lunettes. Il n’y a plus qu’à lire la réponse — qui est parfaitement pertinente dans la démo.
Des lunettes connectées impressionnantes
Repérées par Vice le 26 avril 2023, ces lunettes n’en sont encore qu’au stade de prototype. Mais elles marquent un tournant et ouvrent des perspectives pour de futurs assistants connectés adossés à de l’intelligence artificielle. Dans d’autres messages sur Twitter, l’inventeur a expliqué la méthode utilisée pour parvenir à ce résultat.
« Pour rizzGPT, une webapp est connectée à un appareil (le téléphone) qui communique avec le monocle via Bluetooth. La conversation audio (captée par le micro du téléphone) est convertie en texte en temps réel (grâce à OpenAI Whisper dans le cloud). GPT utilise la transcription pour générer ce que l’utilisateur doit dire. Le terminal envoie un message directement sur le monocle pour faire apparaître la réponse. Tout cela se passe pendant que l’utilisateur a toujours l’air engagé et attentif à la conversion ! »
Ce sont « les IA génératives ont rendu ce futur possible », estime Bryan. Les LLM (large language model), les modèles de prédiction des mots entrainés sur des milliards de données et qui permettent aux IA comme ChatGPT de fonctionner, sont indispensables pour le fonctionnement de ce type de projet. « Tout d’abord, les capacités de perception multimodales aident l’IA à comprendre ce qu’il se passe dans votre vie. Ces éléments de contexte sont essentiels pour l’IA pour proposer une aide hyper personnalisée. […] Les LLM permettent de parler directement aux appareils […]. Tout cela rend l’idée d’une réalité augmentée en main libre vraiment viable. »
Les photos et les vidéos des lunettes publiées par Bryan ont suscité des réactions positives sur Twitter. Jusqu’à présent, l’intelligence artificielle avait chamboulé de nombreux domaines, comme l’art et l’information — mais jamais le secteur des assistants connectés. On ne peut désormais que constater que cet écosystème aussi est amené à être renversé par l’IA, tôt ou tard.
Depuis sa vidéo, Bryan a continué d’expérimenter et d’améliorer ses lunettes — il surnomme dorénavant le système « GPT-4 Jarvis », du nom de l’assistant virtuel d’Iron Man dans l’univers Marvel. Les prouesses de l’appareil ont progressé aussi : il comprend les textes que l’utilisateur lit en temps réel. Il reste à voir quand les premiers produits commerciaux arriveront.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !
