MEETMIKE : l'impressionnant rendu d'un visage humain capté en temps réel

Non, l'image ci-dessus n'est pas une photographie. Ce n'est pas non plus un rendu numérique précalculé et retravaillé. Il s'agit du résultat d'une solution de modélisation et de captation temps réel du visage du producteur et spécialiste des effets spéciaux Mike Seymour. 

MEETMIKE est le nom d'une expérience qui s'est déroulée sur plusieurs jours à l'occasion de la convention SIGGRAPH 2017. Mike Seymour (le vrai) était capté et reproduit en temps réel à 90 FPS de la façon la plus réaliste possible dans un environnement en réalité virtuelle sous le moteur Unreal Engine. Dans cet environnement, il accueillait des grands noms du secteur pour les interviewer pendant que d'autres personnes pouvaient assister à la scène en tant que spectateur. Les invités étaient également équipés de casques VR mais leurs apparences et animations était beaucoup plus sommaires sous la forme d'avatars basiques.

Le résultat sur Mike Seymour est impressionnant. La modélisation du visage, les animations faciales, les pores de la peau, les cils, sourcils... Tout y est très détaillé et crédible comme vous pouvez le voir dans la vidéo suivante partagée par nos confrères de RoadtoVR :
 

Pour arriver à ce résultat, l'équipe qui a conçu l'expérience a utilisé un ensemble de caméras stéréoscopiques Technoprops pour détecter les mouvements du visage. La reconnaissance est réalisée par la technologie de Cubic Motion et les données sont ensuite transmises à un modèle 3D facial de 3Lateral qui utilise une reproduction digitale de Mike Seymour réalisée dans le cadre du projet  Wikihuman.

 

Les caractéristiques de l'expérience :

• MEETMIKE compte environ 440 000 triangles en temps réel, ce qui signifie un rendu stéréo VR toutes les 9 millisecondes, dont 75% sont utilisés pour les cheveux et poils.
• Le modèle facial utilise environ 80 articulations, principalement pour les poils et cheveux.
• Pour le visage, il n'y a que 10 articulations pour les joues, les yeux et la langue.
• Le système utilise des logiciels complexes et trois moteurs d'intelligence artificielle en deep learning.

Bon allez, nous on veut la même chose pour nos prochaines RadioETR avec nos "nous" digitaux ! :)