La vidéo VR du futur dans laquelle on peut se déplacer ! Caméras Light Field par Google !

Aujourd'hui, on va parler de vidéos ou de photos immersives, mais pas n'importe lesquelles puisqu'on va parler technologie Light Field !

Pour ceux qui préfèrent les formats vidéos, retrouver ce dossier sur notre chaine Youtube :

Ceux qui me suivent depuis un moment connaissent mon opinion sur les vidéos 360° dites immersives. En synthèse : je ne suis pas un grand fan parce que le manque de stéréoscopie provoque un vrai soucis de naturel et de perception des échelles.
 

Bon ok, il y'a aussi des vidéos immersives en 3D stéréoscopique, c'est déjà beaucoup mieux mais l'incapacité de mouvoir la tête dans la scène nous renvoie à l'ère de l'Oculus Rift DK1, une époque où la détection de la position dans l'espace n'existait et franchement on aurait du mal à y revenir.

Surtout que la possibilité de se déplacer dans une vidéo apporterait des indices non négligeables dans la perception des profondeurs. En effet, cette perception des reliefs se base, certes, sur l'écart de vision entre nos deux yeux mais aussi de plein d'autres indices dont 2 éléments ne sont pas vraiment exploitable avec une 3D fixe.

Le premier est l'effet de parallaxe c’est-à-dire que par principe, lorsque nous bougeons la tête, ce qui arrive logiquement en permanence, même avec des micros mouvements chez une personne normale, les objets proches bougent plus vite que les objets éloignés.
 

Le second est l'occlusion. Lorsqu'un objet passe devant un autre, il va le masquer. Alors oui, bien sûr, dans les films en stéréoscopie, les réalisateurs usent souvent de cet effet mais c'est bien plus impressionnant lorsqu'on peut provoquer soit même cet effet en baissant sa tête derrière un objet virtuel qui va en masquer un autre. Deux effets bien présents dans nos jeux en réalité virtuelle qui disposent donc d'une sorte de 3D 2.0 mais que nous ne retrouvons malheureusement pas vraiment dans les vidéos immersives, qui sont donc malheureusement bien moins immersives que les expériences totalement virtuelles. Mais ça c'était avant !

Imaginez donc une vidéo dans laquelle vous pourriez réellement vous déplacer, même de quelques centimètres et rapprocher votre tête d'un objet virtuel ou d'un protagoniste. Plus question d'expérience virtuelle photoréaliste, oubliez ça, vous êtes virtuellement dans la réalité ! Et si je vous disais à présent que c'est même déjà possible et qu'en plus vous pouvez tester ça gratuitement ?

Car oui, la technologie existe et Google s'amuse avec depuis maintenant quelques années. Il s'agit des Light Field Cameras ou appareils photo plénoptiques en français. Sans rentrer dans des définitions complexes à appréhender, comprenez que si un appareil photo classique va capter l'intensité lumineuse d'une scène, un appareil plénoptique va également capter la direction d'arrivée des rayons lumineux.

Un photographe pourra ainsi par exemple faire la mise au point après la captation de la prise de vue, mais en ce qui nous concerne, avec des experts de chez Google à la manœuvre, vous pouvez obtenir une photo ou une vidéo dans laquelle vous allez pouvoir vous pencher ou vous déplacer subtilement.
 

Ce n'est pas la première fois que Google met un pied dans la technologie Light Field en réalité virtuelle. En 2018, la société sortait Welcome To Light Fields, une démonstration technique gratuite disponible sur Steam où il était question d'images fixes et dans lesquelles il était possible de bouger la tête très légèrement. Déjà, le résultat était assez incroyable comme en témoignent les avis très favorable des testeurs et je vous recommande chaudement de tenter l'expérience si ce n'est pas déjà fait.

Mais encore plus bluffant, il y a quelques mois Google a lâcher de véritables séquences vidéos bluffantes sur un blog,. Ici, plus question d'un appareil Light Field spécifique. Pour capter la scène, la société a tout simplement synchronisé 46 caméras... rien que ça... dans une demi-sphère d'environ 92 cm de diamètre. Il en résulte une captation vidéo d'environ 220° de champ de vision à 30 images par seconde et dans lesquelles il est possible de bouger sa tête sur une distance de 80 cm environ.

Grâce à ces enregistrements dans différents angles mais synchronisés, Google a recomposé des calques portant des informations de couleur, de transparence et de relief lui permettant au final d'obtenir une vidéo sur plusieurs couches compressées qui ne perd pas trop en qualité et en capacité de tourner de façon fluide dans un navigateur ou un casque de réalité virtuelle. Même dans un navigateur, le résultat est original.

Si Facebook nous a déjà habitué à ses photos 3d jouant justement sur la parallaxe, ici il est possible de se déplacer sur 6 degrés de mouvements dans la scène !

Bien sûr, tout n'est pas encore parfait et l'image manque encore un peu de piqué, présente un léger bruit et quelques aberrations, mais c'est peut-être la vidéo de demain que nous avons sous les yeux. Imaginez un peu le potentiel de cette technologie pour des formations immersives, des visites architecturales ou touristique, du contenu éducatif… oui… ou pour des études sur l'anatomie humaine ça marchera aussi, bien évidemment :-)

Et ce n'est que le début. Petit rappel : en 2018 on pouvait bouger sa tête dans une photo, en 2020-2021, on peut bouger sa tête et se déplacer dans une vidéo ! Qui sait ce que nous réserve l'avenir de ces technologies ? Il sera peut-être possible dans quelques années de marcher dans un film ou un documentaire.
 

Pour les possesseurs de PSVR qui lisent également l'article, vous pouvez déjà vous en faire une bonne idée du potentiel d'une vraie vidéo VR avec l'application Joshua Bell VR Experience qui reste encore aujourd'hui une prouesse technique sur le casque de Sony. Ce n'est pas tout à fait la même technique et c'est un peu moins impressionnant, on est davantage sur de la photogrammétrie et de la captation 3D intégrée, mais ça permet d'avoir un aperçu du potentiel de ce type de technologie.