Facebook utilise l'intelligence artificielle pour améliorer la détection des mains en réalité virtuelle

Le Half Dome n'est pas la seule avancée technologique présentée par Maria Fernandez Guajardo (Oculus) lors de la dernière conférence F8, la filiale de Facebook semble également s'activer sur la reconnaissance des mouvements des mains (hand-tracking).

Lors de sa présentation, Maria Fernandez Guajardo a rappelé toute l'importance de la reconnaissance des mains en réalité virtuelle, en particulier pour les applications sociales et les intéractions avec les interfaces ou objets virtuels. La société a donc travaillé sur le sujet et montre aujourd'hui un nouveau système d'apprentissage des mouvements des mains grâce à de la vision par ordinateur, une branche de l'intelligence artificielle.

L'idée est assez simple : des mouvements sont captés en haute définition grâce à des marqueurs positionnés sur les mains d'un utilisateur. Toutes les positions des marqueurs rentrent alors dans un processus qui va les traduire en réelle gestures reconnues des mains. Le problème c'est que ces modèles peuvent parfois être très complexes et variés. Oculus se sert donc d'un réseau neuronal convolutif qui permettrait d'appliquer une forme d'apprentissage automatique de la reconnaissance des gestes que la chercheuse appelle "Deep Marker Labelling".
 

Le système pourrait alors répliquer ces modèles appris sur des mains captées visuellement sans marqueur de façon très fidèle, permettant même des interactions avec des objets virtuels comme le montre cette vidéo de présentation assez bluffante.
 

Selon Maria Fernandez Guajardo, ce système serait bien plus fiable que les autres avec des taux de réussite en reconnaissance proche des 100% même lorsqu'il s'agit de capter les deux mains ou des interactions avec des objets. On aurait quand même aimé savoir sur quels critères ces chiffres sont basés exactement.
 

Reste à voir comment la société exploitera cette reconnaissance des mouvements des mains prometteuses qui pourrait trouver d'excellentes applications aussi bien en réalité virtuelle qu'en réalité augmentée.