Dat klinkt eng ik weet het, het is echter wel een mooie stap in een van de noten die nog gekraakt dienen te worden in Virtual maar ook Augmented en Mixed Reality. Het nabootsten van het gezicht staat vrij hoog op het verlanglijstje van menigeen in de industrie. Voor dit moment zijn er wel “gezichten” beschikbaar (bijvoorbeeld in V-Time) maar een en ander is nog lang niet waar het zou moeten zijn.

Dat heeft voornamelijk te maken met de toepassingsmogelijkheden waarbij je je bijvoorbeeld kan bedenken dat Social VR echt veel leuker is als je elkaars gezicht en gezichtsexpressie ook kan waarnemen in Virtual Reality. Omdat het menselijk gezicht toevallig 1 van de meest expressieve lichaamsdelen is (is het een lichaamsdeel trouwens?) bewijst dit echter een behoorlijke opgave.

Daar komt nog bij dat je over het algemeen een grote VR headset op dat gezicht hebt zitten als je in VR zit, overbodig te vermelden dat dit het realtime scannen en mappen van je gezicht niet veel eenvoudiger maakt. (externe oplossingen vallen eigenlijk al af)

Nu lijkt Google echter aardig op weg om de noot te kraken, ze demonsteren een techniek, of eigenlijk een combinatie van technieken waaronder een aangepaste HTC Vive waarin techniek van SMI wordt toegepast. SMI is een bedrijf wat zich voornamelijk bezighoudt met Eyetracking hardware en met behulp van, onder andere deze techniek lijkt Google aardig in staat om een waarheidsgetrouw duplicaat te maken van wat er onder de VR headset zit: je gezicht.

De basis achter het concept is een 3D model van een gezicht wat als “proxy” of vervanger voor het gezicht onder de headset wordt gebruikt. De vervanger wordt vervolgens geanimeerd in de Mixed Reality video waardoor de illusie ontstaat dat er geen headset meer aanwezig is.

Er wordt een 3D model gemaakt van het gezicht, dit wordt de “Gaze dependent dynamic appearance” genoemd. Dit kan je vrij vertalen als “Kijk of staar afhankelijke dynamische verschijning”, deze verschijning wordt vervolgens gecalibreerd waarbij een database wordt “geleerd” wat de relatie is tussen oogbewegingen en gezichtsuitdrukkingen die daarbij horen. Deze database wordt vervolgens gebruikt om een waarheidsgetrouw duplicaat van je gezicht te tonen.

Al met al een behoorlijk proces en nog lang niet klaar voor consumentengebruik maar een mooie stap in het kraken van de noot!