Die Faceboook Reality Labs haben eine neue einjährige Blog-Serie gestartet, in welcher sie schrittweise Einblicke in die Forschungsarbeit der AR- und VR-Entwicklungsabteilen geben. Der erste Blog-Eintrag beschäftigt sich mit den lebensechten Avataren des Teams in Pittsburgh. Darin wird die Codec-Avatar-Technologie vorgeführt, welche Echtzeitgespräche dank lebensechter Alter Egos in virtuellen Gefilden ermöglichen soll.
Facebook Reality Labs – Lebensechte Avatare für AR und VR
Die Codec-Avatar-Technologie soll zukünftig innerhalb von sozialen VR-Umgebungen Grenzen überwinden. Dank lebensechten Avataren wird die Kommunikation im virtuellen Raum in Echtzeit ermöglicht, wodurch kein Unterschied mehr zwischen Gespräch von Angesicht zu Angesicht gegenüber digitalem Treffen entstehen soll. Möglich macht dies eine 3D-Capture-Technologie in Kombination mit KI-Systemen. Um diese Zukunftstechnologie umzusetzen, arbeitet das Pittsburgh-Team der Facebook Reality Labs an der Fortentwicklung der zukunftsträchtigen Repräsentation in der VR.
So schreiben die Verantwortlichen im eigenen Blog:
“Codec-Avatare sind heute noch ein aktives Forschungsprojekt, aber es könnte die Art und Weise, wie wir uns morgen über VR-Headsets und AR-Brillen verbinden, radikal verändern. Es geht nicht nur um hochmoderne Grafiken oder weiterentwickeltes Motion-Tracking. Es geht darum, die Interaktion mit anderen Menschen in der virtuellen Realität so natürlich und mühelos erscheinen zu lassen, so als würde die Person direkt vor dir stehen. Die größte Herausforderung besteht darin, authentische Interaktionen in künstlichen Umgebungen zu erzeugen.”
Auch ein soziales Präsenzgefühl muss dabei zum Tragen kommen, um eine realistische Kommunikation zu gewährleisten. Um dieses erfolgreich umzusetzen, setzt das Team auf zwei Tests zur Erfüllung der Kriterien. Beim sogenannten “Ego-Test” muss die jeweilige Person in der Selbstwahrnehmung mit seinem digitalen Ebenbild zufrieden sein, um sich damit zu identifizieren. Im zweiten Schritt, dem “Mutter-Test”, muss das Alter Ego derartig realistisch sein, sodass selbst die Mutter der Person mit dem Avatar komfortabel, authentisch und uneingeschränkt kommunizieren würde, genauso wie im echten Leben. Die Fremdwahrnehmung des Avatars muss also ebenso überzeugen. Das Vorbild für soziale Kommunikation innerhalb der VR ist nach wie vor das sogenannte “Holodeck” bekannt aus der Sci-Fi-Serie Star Trek.
Die Codec-Avatare sollen diesem Ziel einen gewaltigen Schritt näherkommen, um das vorgelegte Ziel langfristig zu erreichen:
“Das wahre Potenzial von Augmented Reality und Virtual Reality ist, dass es uns Zeit mit wem auch immer wir wollen verbringen lässt und sinnvolle Beziehungen aufbauen kann, unabhängig davon, wo Menschen leben.”
Dafür müssen selbst die kleinsten Mikrobewegungen und Mimiken, die einen Menschen ausmachen erfasst werden. Der Schlüssel zur realistischen Umsetzung liegt in der Erfassung von jeglichen physischen Details und Eigenarten der Individuen.
Um dies zu ermöglichen, setzt das Forschungsteam derzeit auf komplexe Aufnahmestudios mit zahlreichen Kameras, Mikrofonen und weiterer Hardware zum En- und Decodieren. Während eines der Studios alleine für die Aufnahmen der Gesichter genutzt wird (siehe Titelbild), ist das Zweite für Körperaufnahmen zuständig.
Image courtesy: Facebook Reality Labs
Dabei werden dreidimensionale Profile der jeweiligen Personen erstellt, die enorme Datenmengen erzeugen. Pro Kamera werden 1 GB pro Sekunde aufgezeichnet, um die zahlreichen subtilen Bewegungen der Testpersonen zu erfassen. Die aufgezeichneten Daten sollen KI-Systemen dabei helfen, zukünftig leichter und schneller zu arbeiten. Langfristig sollen jedoch auch tragbare VR-Brillen imstande sein, die realistischen Avatare aufzunehmen und zu erzeugen.
Die Technologie ist bei Weitem noch nicht ausgereift und benötigt laut Verantwortlichen noch mehrere Jahre, bis sie für den Endkonsumentenmarkt geeignet ist. Dennoch arbeitet das Facebook-Team derzeit kontinuierlich an einer möglichen Umsetzung.
Neben den technischen Herausforderungen stehen zudem auch ethische Komplikationen, wie beispielsweise die Nutzung für Deepfakes zur Diskussion. Um ein derartiges Ausnutzen der Technologie zu verhindern, werden derzeit Diskussionen über Sicherheitssysteme durch Authentifizierung für die lebensechten Avatare geführt. Dadurch würden die digitalen Alter Egos personalisiert und wären nur von den tatsächlichen Besitzern nutzbar.
(Quellen: Facebook Reality Labs | Oculus)
Der Beitrag Facebook Reality Labs: Forschungseinblicke in die Arbeit an lebensechten Avataren zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!
The team at FRL Pittsburgh have been working on this challenge for a number of years, with Sheikh joining Facebook in 2015. Their work was showcased during F8 2018 with two realistic digital people animated in real time. Since then: “We’ve completed two capture facilities, one for the face and one for the body,” says Sheikh. “Each one is designed to reconstruct body structure and to measure body motion at an unprecedented level of detail. Reaching these milestones has enabled the team to take captured data and build an automated pipeline to create photorealistic avatars.”
