Microsoft veut nous offrir des mains virtuelles précises dans la VR

Bill Gates a peut-être eu tort sur beaucoup de choses, mais il avait fait la prophétie il y a bien longtemps (au moins depuis 1997) que l’utilisateur finirait par abandonner le clavier, qu’il voyait comme une anomalie temporaire dans l’interface homme-machine. Le fondateur de Microsoft rêve depuis très longtemps de l’avènement des interfaces tactiles, de la reconnaissance vocale, ou de l’utilisation des gestes pour interagir avec l’ordinateur, ce qui serait pour lui plus naturel que d’écrire du texte avec les touches d’un clavier.

Nous sommes encore très loin de l’abandon total du clavier, mais il est clair qu’il est aujourd’hui possible de dicter des textes très facilement avec une orthographe quasi parfaite, de dialoguer avec des assistants vocaux, de toucher l’écran pour déplacer des objets virtuels, ou encore d’utiliser des gestes dans l’espace, façon Minority Report, pour manipuler une interface.

Mais il faut encore du travail pour que la précision espérée d’un Magic Leap aboutisse à des applications vraiment utiles et intuitives. Car la main a ses subtilités que les algorithmes et les capteurs peinent encore à traduire, et celui qui parviendra à les reproduire dans le virtuel décrochera le gros lot.

modéliser la main dans des environnements virtuels et d’en reproduire les gestes avec une précision inédite

Nous avions vu récemment que Google avait fait d’énormes progrès dans ce sens en dévoilant le Project Soli, une puce entièrement dédiée à capter les doigts avec une finesse inégalée. Mais Microsoft ne veut pas être en reste, et annonce également l’avancée de ses travaux. Contrairement à Google qui utilise un capteur miniaturisé et une IA qui analyse les mouvements, Microsoft continue d’utiliser des capteurs 3D façon Kinect, mais avec des algorithmes de plus en plus pointus, qui permettent de modéliser la main dans des environnements virtuels et d’en reproduire les gestes avec une précision inédite.

« Nous en arrivons au stade où la précision est telle qu’un utilisateur peut commencer à ressentir sa main d’avatar comme étant sa vraie main », assure Jamie Shotton, l’un des trois ingénieurs de Microsoft Research, qui présenteront leurs résultats cet été. La firme de Redmond cherche désormais à afficher des mains virtuelles, soit directement sur l’écran habituel de l’ordinateur, soit au travers de lunettes de réalité virtuelle, en utilisant des algorithmes qui modélisent la main avec précision, en utilisant une multitude de points de contrôle et une reconstruction douce, sans polygones apparents.

Elle assure que même sans sensations haptiques, les interfaces sont désormais tellement réactives et intuitives que l’utilisateur n’est plus gêné par l’absence de toucher, et parvient à interagir naturellement comme s’il était vraiment en face d’un bouton, d’un levier ou d’un objet quelconque à déplacer.