SMI fait une démonstration d'un rendu fovéal avec un nouveau kit de suivi des yeux (eye tracking) à 250hz

Le rendu fovéal, une technique qui imite la vue humaine pourrait aider à catapulter la réalité virtuelle à un nouveau niveau, mais c'est quelque chose qui, à ce jour, n'a pas pu être possible avec les technologies actuelles - jusqu'à maintenant.

SensoMotoric Instruments (SMI), une des plus anciennes et grandes entreprises travaillant sur la technologie de tracking oculaire se prépare à faire des démonstrations de rendu fovéal au CES la semaine prochaine avec la nouvelle édition de leur technologie - un kit de suivi des yeux à 250hz pour les casques VR.
 

Pour ceux d'entre vous qui ne sautent pas déjà de joie, le rendu fovéal est une grosse affaire pour la réalité virtuelle car il permet de créer des rendus réalistes d'expériences avec les processeurs graphiques d'aujourd'hui. Le rendu fovéal utilise à son avantage la vision humaine pour gérer ce qui doit être rendu à l'écran. Quand vous regardez un objet, seulement le centre de votre attention (là où la fovéa se trouve) apparait parfaitement nette avec le reste de l'image qui se trouble progressivement alors que l'on s'approche de la périphérie de la vision. Le rendu fovéal utilise ceci à son avantage en utilisant un traqueur qui suit la fovéa de l'oeil et ne fait le rendu en résolution maximale que de l'endroit que fixe le joueur, le bénéfice étant que l'ordinateur a beaucoup moins de choses à calculer car il ne doit le faire essentiellement que sur la zone que l'on regarde, permettant d'avoir, du coup, de meilleures performances.

 

Le rendu fovéal de SMI ne rend qu'une résolution pleine directement au centre et de plus en plus faible en s'en éloignant vers la périphérie.

Mais quelle amélioration ? D'après le directeur de SMI, Christian Villwock, "un facteur de 2 à 4 fois mieux est facilement atteignable et, avec plus d'efforts, vous pouvez même atteindre de plus grands facteurs d'améliorations."

Avec ce genre d'améliorations de performances, obtenir d'un ordinateur d'aujourd'hui qu'il rende de la réalité virtuelle à 4K, 8K voire même 11K devient envisageable. Ce qui est important vu que, d'après Michael Abrash, chef de l'équipe scientifique chez Oculus, pour faire un rendu qui rejoigne la résolution du monde réel, vous devez faire un rendu d'au moins 8k pour chaque oeil.

SMI a accompli tout ceci a travers un mélange d'"un grand nombre d'optimisations" coté logiciel le tout couplé à une "collaboration proche" avec l'entreprise de capteurs d'images Omnivision. Les tentatives précédentes de rendu fovéal cassaient l'immersion car elles n'étaient pas assez rapide pour suivre les mouvements rapides des yeux, ceci vous laissant entrevoir un petit cercle de mauvaise résolution suivre votre regard. Les "algorithmes à faible latence" de SMI fonctionnent en conjonction avec les caméras d'Omnivision à un taux de rafraîchissement de 250hz afin de permettre un rendu fovéal que Villwock décrit comme "plus du tout percevable"

"Il y a ce nombre magique de 240hz que nous avons trouvé après 10 ans de recherches" a dit Villwock, "à cette fréquence, vous pouvez commencer à mesurer les mouvements saccadiques de l'oeil, ce qui est très important."

Il se réfère aux mouvements rapides et simultanés de vos yeux lorsqu'ils fixent un point. Même si vous fixez ce point, vos yeux ne restent pas statiques; au contraire, vos yeux bougent constamment de manière involontaire à une vitesse très rapide. Vous pouvez voir une démonstration dans la vidéo ci-dessus qui montre quelqu'un en train de regarder un moniteur devant lui (ou elle). Détecter ces mouvements permet des mesures beaucoup plus précises de l'endroit sur lequel les yeux se focalisent, ceci permettant des choses telles que le rendu fovéal.

Oculus travaille sur le suivi de l'oeil pour les prochaines générations de casques VR.

A ce jour, SMI a seulement montré une intégration du suivi de l'oeil avec un kit d'amélioration pour l'Oculus Rift DK1 et pour le DK2 mais cela pourrait changer.

Villmock a dit à UploadVR : "nous travaillons sur le projet suivant avec quelques unes de ces entreprises du coté des PC et aussi du coté des mobiles". Il a refusé d'en dire plus sur ces projets mais nous a dit "attendez encore deux mois et alors nous pourrons parler d'avantage."

D'après le fondateur d'Oculus VR, Palmer Luckey, le suivi des yeux est quelque chose qui va devenir une composante critique pour le futur des technologies de réalité virtuelle. Le eye tracking permet bien plus que le rendu fovéal, cela peut être utilisé pour donner un vrai sentiment de profondeur, créer de meilleures interfaces utilisateurs voire même permettre des interactions sociales plus engageantes dans des espaces virtuels. C'est pourquoi tant de compagnies, dont Oculus, font des recherches actives sur cette technologie.

Villwock a dit à UploadVR : "Je crois personnellement que toutes les v2 des casques auront le suivi des yeux intégré".

SMI va faire la démonstration de ses avancées potentiellement révolutionnaires sur les technologies de suivi des yeux  au CES. Nous prévoyons (UploadVR) de mettre la main là dessus pour vérifier nous même ces déclarations. Soyez sûrs d'avoir des retours plus détaillés.