À l’avenir, les intelligences artificielles génératives surveilleront-elles en permanence ce que leurs utilisateurs font sur leurs écrans ? C’est très probable, puisqu’une observation en temps réel leur permettrait d’apporter de l’aide contextuelle.
OpenAI rêve d’un ChatGPT capable de vous aiguiller dans votre travail sur ordinateur, Apple prépare un Siri qui analyse le contenu de votre écran pour début 2025, tandis que Microsoft compte effectuer plein de captures d’écran de votre PC, pour que son Copilot vous aide.
Anthropic, le rival d’OpenAI derrière les modèles Claude, vient de prendre de l’avance sur ses concurrents. Le nouveau modèle Claude 3.5 Sonnet dispose d’un mode « computer use », capable de contrôler un ordinateur à partir de prompts.
« Claude, peux-tu changer mes réglages puis répondre à mes cinq derniers mails ? »
Claude 3.5 Sonnet est encore expérimental, dans le sens où le contrôle d’un ordinateur est encore très lent. Le logiciel réalise des captures d’écran de votre PC ou de votre Mac, analyse le contenu à l’écran, et envoie une commande pour déplacer la souris, cliquer et éventuellement écrire.
Il y a forcément de la latence aujourd’hui, mais c’est une première pour une IA. La compréhension d’une image lui permet techniquement de tout faire, puisque Claude peut effectuer des recherches de lui-même.
Avec ce contrôle automatisé, Anthropic pourrait transformer plusieurs métiers, comme le dépannage à distance, l’écriture de code, la réalisation de documents compliqués et répétitifs ou l’éducation.
Il y a aujourd’hui plusieurs limites, comme le fait que le modèle n’est pas encore capable d’apprendre des choses de lui-même, mais la promesse est là (Anthropic dit avoir observé des bugs où Claude effectuait ses propres recherches de voyage, sans qu’on le lui demande). Un jour, Windows et macOS intègreront probablement leurs propres IA, avec un assistant vocal sophistiqué capable de faire ce que vous lui demandez. OpenAI rêve aussi d’intégrer cette possibilité à son application ChatGPT, disponible sur macOS et bientôt Windows.
Dans un premier temps, Anthropic réserve son contrôle de l’ordinateur aux développeurs, afin d’obtenir de premiers retours. L’entreprise compte ensuite l’ouvrir au grand public, avec certainement une réponse rapide d’OpenAI. Apple et Microsoft, eux, mettront probablement du temps pour intégrer des systèmes similaires.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !
