Facebook Researchers Found A Way To Essentially Give Oculus Quest More GPU Power

Facebook Researchers seem to have figured out a way to use machine learning to essentially give Oculus Quest developers 67% more GPU power to work with.

The Oculus Quest is a standalone headset, which means the computing hardware is inside the device itself. Because of the size and power constraints this introduces, as well as the desire to sell the device at a relatively affordable price, Quest uses a smartphone chip significantly less powerful than a gaming PC.

“Creating next-gen VR and AR experiences will require finding new, more efficient ways to render high-quality, low-latency graphics.”

Facebook AI Research

The new technique works by rendering at a lower resolution than usual, then the center of the view is upscaled using a machine learning “super resolution” algorithm. These algorithms have become popular in the last few years, with some websites even letting users upload any image on their PC or phone to be AI upscaled.

Given enough training data, super resolution algorithms can produce a significantly more detailed output than traditional upscaling. While just a few years ago “Zoom and Enhance” was a meme used to mock those who falsely believed computers could do this, machine learning has made this idea a reality. Of course, the algorithm is technically only “hallucinating” what it expects the missing detail might look like, but in many cases there is no practical difference.

One of the paper’s authors is Behnam Bastani, Facebook’s Head of Graphics in the Core AR/VR Technologies department. Between 2013 and 2017, Bastani worked for Google, developing “advanced display systems” and then leading development of Daydream’s rendering pipeline.

It’s interesting to note that the paper is not actually primarily about either the super resolution algorithm or freeing up GPU resources by using that. The researchers’ direct goal was to figure a “framework” for running machine learning algorithms in real time within the current rendering pipeline (with low latency), which they achieved. Super resolution upscaling is essentially just the first example of what this enables.

Because this is the focus of the paper, there isn’t much detail on the exact size of the upscaled region or the perceptibility, other than a mention of “temporally coherent and visually pleasing results in VR“.

The researchers claim that when rendering at 70% lower resolution in each direction, the technique can save roughly 40% of GPU time, and developers can “use those resources to generate better content”.

For applications like a media viewer, the saved GPU power could be kept unused to increase battery life, since on Snapdragon chips (and most others) the DSP (used for machine learning tasks like this) is significantly more power efficient than the GPU.

A demo video was produced using Beat Saber, where the left image “was generated using a fast super-resolution network applied to 2x low resolution content” (the right image is regular full resolution rendering):

Apparently, using super resolution to save GPU power is just one potential application of this rendering pipeline framework:

“Besides super-resolution application, the framework can also be used to perform compression artifact removal for streaming content, frame prediction, feature analysis and feedback for guided foveated rendering. We believe enabling computational methods and machine learning in mobile graphics pipeline will open the door for a lot of opportunities towards the next generation of mobile graphics.”

Facebook AI Research

There is no indication from this paper that this technology is planned to be deployed in the consumer Oculus Quest, although it doesn’t give any reason why it couldn’t either. There could be technical barriers that aren’t stated here, or it may just be considered not worth the complexity until a next generation headset. We’ve reached out to Facebook to get answers on this. Regardless, it looks clear that machine learning may play a role in bringing standalone VR closer to PC VR over the next decade.

The post Facebook Researchers Found A Way To Essentially Give Oculus Quest More GPU Power appeared first on UploadVR.

Oculus Quest Gets Dynamic Fixed Foveated Rendering To Balance Quality & Performance

The Oculus Quest now has a Dynamic Fixed Foveated Rendering (FFR) feature, which developers can use instead of manually setting the FFR level.

UPDATE April 28: this feature is now available for Unity, the game engine used for the majority of Oculus Quest content.

This article was originally published December 20.

Fixed Foveated Rendering is a rendering feature that developers can use on Oculus Quest. It renders the peripheral of the lenses at a lower resolution than the center, making it easier for the software to maintain a consistent and comfortable frame rate by shaving down detail in places that are less noticeable. There are four levels of FFR developers can choose from: Low, Medium, High, and High Top.

FFR can make it easier for developers to port their PC VR games to Quest. However, the High and High Top can be very noticeable for the user. As we stated in our review of the Quest headset:

In the game’s opening training montage I couldn’t help but point my eyes down and see two blurs for feet running on a treadmill. Tilting my head up over text to move it into the foveated area revealed the scale and size of the effect

Dynamic FFR allows developers to let the Oculus system dynamically adapt the level of foveation based on the GPU utilization. This means that unless it is needed at that time for performance, users won’t see the pixelation and blur seen in some Quest titles today.

The feature is off by default, however, so developers will need to add it to their games via a software update to get the benefits.

For Unity, this can be done by setting useDynamicFixedFoveatedRendering to true on the OVRManager script.

The post Oculus Quest Gets Dynamic Fixed Foveated Rendering To Balance Quality & Performance appeared first on UploadVR.

Oculus Go und Santa Cruz: Fixed Foveated Rendering [Update]

[Update] Der Artikel enthält weitere Informationen darüber, wie Oculus das Fixed Foveated Rendering umsetzt.

Ganz klar, mit Eye-Tracking ließe sich die Qualität der Darstellung in der VR verbessern. Allerdings hapert es derzeit noch an der Hardware. Die kommt zwar oder ist angekündigt, allerdings ist noch kein VR-Headset mit Eye-Tracking erhältlich. Oculus hat auf der GDC 2018 ein eigenes Konzept mit dem Namen Fixed Foveated Rendering angekündigt. Damit will die Facebook-Tochter vor allem die grafische Qualität sowie die Bildwiederholrate verbessern.

Tobii und Qualcomm VR

Ein Beispiel für Foveated Rendering.

Oculus stellt Fixed Foveated Rendering vor

Autarke Brillen wie die kommenden Oculus Go und Santa Cruz setzen auf Chipsätze von Qualcomm. Diese werden zwar immer leistungsfähiger, können aber naturgemäß gegen High-End-PCs nicht antreten. Es müssen also andere Tricks her, um trotz der Limitierung durch mobile Hardware ansehnliche VR-Erfahrungen zu ermöglichen. Einer dieser Tricks ist das Foveated Rendering, bei der nur Dinge in höchster Auflösung berechnet werden, die tatsächlich im Fokus des Betrachters liegen. Durch Eye-Tracking kann die Hardware „sehen“, wohin der Anwender schaut, und das Bild entsprechend aufbereiten. Da die Umgebung außerhalb der Fokus-Zone mit niedrigerer Auflösung gerechnet werden kann, sinkt der Aufwand. Mobilprozessoren mit ihren integrierten Grafikeinheiten mögen zwar trotzdem nicht die Wurst vom Brot holen, aber die Abbilungsqualität ließe sich trotzdem steigern. Und die Bildwiederholfrequenz.

Fixed Foveated Rendering

Oculus hat nun auf der GDC 2018 das Verfahren Fixed Foveated Rendering vorgestellt, das auch ohne zusätzliche Hardware für das Eye-Tracking auskommt. Eigentlich ist es ganz einfach: Anstatt zu wissen, wohin der Anwender schaut, gehen die Entwickler davon aus, dass man in der Regel nach vorne schaut. [Update] Die Auflösung wird dann in mehreren Stufen reduziert, in den Ecken bis auf 1/16. Dabei macht sich Oculus eine Eigenschaften der mobilen Grafikeinheit zu Nutze: Im Gegensatz zu GPUs für Desktop-PCs berechnet die Grafikeinheit im Snapdragon das Bild in Kacheln, wobei jede Kachel mit Fixed Foeveatd Rendering eine eigene Auflösung zugewiesen bekommt. Erste Hands-on bei der Oculus Go zeigen, dass das Verfahren sehr gut funktioniert – wenn Spieler nicht zur Seite linsen, denn dann wird die geringere Auflösung zu den Rändern hin sichtbar. [/Update]

In Zusammenarbeit mit Qualcomm hat Oculus bereits Fixed Foveated Rendering installiert, sodass die Oculus Go bei aufwendigeren Titel eine bessere Darstellungsqualität erreicht. Damit einher geht auch eine mögliche Erhöhung der Bildwiederholfrequenz. Die autarke Brille besitzt einen 72 Hz Modus, der zusätzlich für ein helleres Bild und intensivere Farben sorgen soll. Die Samsung Gear VR arbeitet hingegen durchgängig mit 60 Hz. Das Fixed Foveated Rendering ist nicht auf die Oculus Go beschränkt, auch bei der Santa Cruz soll das Verfahren zum Einsatz kommen. Schließlich kommt dort ebenfalls ein mobiler Prozessor und damit der Bildaufbau in Kacheln zum Einsatz. Wer Interesse an dem Thema hat, findet im Entwickler-Blog von Oculus vertiefende Informationen zu dem Thema.

(Quelle und Bild: Road To VR)

Der Beitrag Oculus Go und Santa Cruz: Fixed Foveated Rendering [Update] zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

MWC 2018: Digitale Tänzerin Zena setzt neue Maßstäbe für AI-Avatare

Das VR-Studio Reality Reflection stellte in Kooperation mit dem Studio 3Lateral auf dem Mobile World Congress 2018 ihre digitale Tänzerin Zena vor, die dank weiterentwickelten Technologien im Bereich des fotorealistischen Renderings, 3D-Scannings und Bildkompression neue Maßstäbe in der Darstellung realitätsgetreuer Avatare setzen will. Die Präsentation von Dancing Zena zeigt rhythmische Tanzbewegungen des AI-Avatars zur Musik einer K-Pop-Band in 90 FPS.

Zena als Vorbild für kommende VR-Avatare

Eine Kooperation zwischen Reality Reflection und 3Lateral sorgte mit Dancing Zena für eine beeindruckende Vorstellung auf dem MWC 2018 in Barcelona. Der digitale AI-Avatar tanzte auf der Fachmesse zur Musik einer K-Pop-Band und überzeugte mit nahezu realistischen Animationen.

Zena weist detaillierte Gesichtsausdrücke, eine feine Darstellung der menschlichen Haut sowie glaubhafte und flüssige Bewegungen im Rhythmus der Musik auf. Zudem ist die virtuelle Tänzerin dank Eye-Tracking in der Lage, Blickkontakt mit dem Gegenüber aufzunehmen, wodurch sich das immersive Erlebnis steigern lässt.

Zur Darstellung von Zena verwendete Reality Reflection ihre eigene 3D-Scanning-Technologie, um über 80 verschiedene Gesichtsausdrücke und 300 unterschiedliche Bewegungen aufzunehmen und vom VR-Avatar in 90 FPS umsetzen zu lassen. Die auf Charaktererstellung spezialisierten Experten von 3Lateral (unter anderem bekannt für ihre Arbeit an Horizon: Zero Dawn und Batman: Arkham VR) waren dabei für das Modelling und die natürlichen Bewegungen der Tänzerin zuständig. Die Präsentation von Dancing Zena basiert auf der Unreal Engine.

Das Ziel der gemeinsamen Arbeit ist es, das sogenannte Uncanny Valley (eine Akzeptanzlücke von Zuschauern gegenüber künstlichen Figuren) trotz realistischer AI-Avatare zu überwinden. Das hätte massive Auswirkungen auf die Darstellung von VR-Avataren sowie auf die CGI-Technologie.

Die derzeitige Vorstellung von Zena zeigt, wie sich die VR-Technologie zukünftig weiterentwickeln kann. Wir sind gespannt, welche weiteren Fortschritte die Kooperation zukünftig präsentiert.

(Quellen: VR Focus | Video: Reality Reflection Youtube)




Der Beitrag MWC 2018: Digitale Tänzerin Zena setzt neue Maßstäbe für AI-Avatare zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

Google Seurat soll Grafik in Kinoqualität auf mobile VR-Headsets bringen

Im mobilen Bereich reicht die Leistung der Prozessoren bei weitem nicht an High-End-PCs heran. Vor allem bei aufwendigen 3D-Renderings geht den mobilen Rechenknechten schnell die Puste aus. Google hat im Rahmen seiner Entwicklerkonferenz I/O 2017 nun eine Technik vorgestellt, die massiv die Renderzeiten verkürzt und obendrauf Speicherplatz spart: Seurat. Anhand einer Szene aus einem Rouge One VR-Spiel demonstriert Disneys 3D-Studio ILMxLab die Qualität des neuen Google-Render-Ansatzes.

Seurat: Reduzierung auf das Wesentliche

Das Renderverfahren Seurat reduziert die benötigte Rechenzeit um ein Vielfaches: laut Google beispielsweise bei einer Szene aus dem geplanten Star-Wars-VR-Spiel Rouge One von einer Stunde auf beeindruckende 13 Millisekunden. Voraussetzung dafür ist die Reduzierung der Polygone. Die Szene bestand ursprünglich aus 50 Millionen Polygonen. Nach der Neuberechnung durch die Render-Lösung schrumpfte die Szene auf lediglich 72.000 Polygone. Das ermöglicht die Wiedergabe von virtuellen 3D-Welten in Kinoqualität selbst auf schwächeren Systemen in Echtzeit, Google zielt also vor allem auf seine neuen Headsets von HTC und Lenovo ab.

Das Verfahren von Seurat ist clever: Der Designer entscheidet, in welchem Bereich sich der Anwender in der virtuellen Realität aufhält. Seurat fertigt dann aus diesem Blickwinkelbereich heraus mehrere Aufnahmen an. Sie sind die Grundlage für eine neues, wesentlich einfacheres 3D-Modell, das lediglich aus dem besteht, was der Anwender im Spiel sehen kann. Für diesen Prozess ist dann aber doch ordentlich Rechenpower notwendig, die vorbereitenden Berechnungen finden vorab auf einer Hochleistungs-Workstation statt. Wie lange diese dauerten, verriet Google nicht.

Durch das Verfahren des Renderers wird auch klar, warum Google das System nach dem französischen Pointillisten Georges Seurat benannt hat: In der Kunstrichtung reduzieren die Maler die Farbpartikel zu kleinen Punkten, im Prinzip wie das Raster eines Bildes für den Druck oder Pixel auf dem Bildschirm. Allerdings gibt es doch einen Unterschied: Die Zeit, um ein pointillistisches Bild zu malen, dürfte sich gegenüber der herkömmlichen Malweise nicht verkürzt haben.

Neben dem Studio ILMxLab sollen experimentieren bereits andere Entwickler mit Seurat experimentieren. Weitere Details sollten im Laufe des Jahres folgen.

Der Beitrag Google Seurat soll Grafik in Kinoqualität auf mobile VR-Headsets bringen zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

GDC 2017: FOVE and AMD Take Aim At Improving VR Rendering

GDC 2017: FOVE and AMD Take Aim At Improving VR Rendering

Visuals and the rendering of them is one of a few significant obstacles when it comes to the future of VR headsets. Mobile headsets are handicapped largely due to the dependence on the capabilities of the smartphones being used, as noted by the NFL’s media director in a previous report. The more major headsets have their issues as well and FOVE has partnered with AMD to demo a new style of rendering that could influence the trajectory of the VR industry as a whole.

FOVE developed their own VR headset, which was funded with over $400k in contributions via Kickstarter. They staked the claim that the FOVE 0 is the very first VR headset capable of eye-tracking and they use a “foveated rendering” technique that produces full-resolution imagery where a person is looking and spends fewer resources on images in the periphery. At GDC, FOVE partnered with AMD and digital entertainment studio Frima to show AMD Multires Rendering running on Radeon hardware for the first time. VR can tax graphics processors in a big way but this technique is FOVE’s attempt at helping the next generation of VR with efficient processing, realistic imagery, and affordability.

The result of foveating is something that closely mirrors the way human eyes function. In the press release for the announcement, AMD’s Director of VR Darryl Sartain says FOVE gives them the crucial ability to render high-resolution where it matters. The demo shows off a baseline GPU improvement of 30% which is more than enough to be impactful, but the team occasionally say improvements of 100% which nearly doubled the framerate. The CTO of FOZE, Lochlainn Wilson, says they’re still learning about foveating “but these early improvements are very real and very exciting”.

Maintaining a high framerate is crucial for VR and being able to sustain it with less processing power will pay major dividends across the entirety of the VR industry. Stay tuned to UploadVR for more GDC coverage this week.

Tagged with: , , , ,

Valve’s Answer To Asynchronous Timewarp Arrives (UPDATE)

Valve’s Answer To Asynchronous Timewarp Is Coming ‘Soon’

Update: Valve released an update to its SteamVR beta today with initial support for asynchronous reprojection. The feature does not support AMD GPUs in its current version. With NVIDIA, an updated driver is required.

Valve’s answer to a technique employed by Oculus that helps VR experiences run smoothly is here.

Facebook-owned Oculus uses a technique called “Asynchronous Timewarp” (ATW) to compensate for situations where the hardware drawing a virtual experience can’t keep up with the rate needed to make it feel smooth. With PC’s, that rate is currently 90 frames every second and drops below this rate could make VR uncomfortable. So various techniques, some of them known as reprojection, are employed to try and get to 90 frames per second.

Oculus, in fact, recently announced a secondary technique it calls “Asynchronous Spacewarp” (ASW). This new approach gave the company the confidence to announce a minimum specification for the Rift. In other words, a year and a half after Oculus announced hardware specifications “recommended” to run the Rift with a good experience, the company added a new “minimum” set of hardware requirements that would use this ASW method to help produce a good experience. NVIDIA, for example, is evaluating whether its newly announced $140 GTX 1050 Ti graphics card is capable of meeting this minimum specification.

The graphics card is typically the most expensive part of a VR computer, and just two years ago enthusiasts and developers could spend $700 for a graphics card that could run the second Oculus Rift development kit at its full frame rate. Gains expected from ASW, however, led Oculus to show off a $500 PC said to meet the Rift minimum specification. This new low-cost PC dramatically lowers the barrier to entry, but what kind of an experience it offers in VR across the wide range of software available is still unknown.

Valve, for its part, took a different approach. For the SteamVR-powered Vive headset, the company recommended to its partner HTC very similar specifications to the original ones recommended by Oculus for Rift. Valve originally implemented an “Interleaved Reprojection” technique instead of something like ATW,  graphics programmer Alex Vlachos told UploadVR, because Valve’s approach works on all modern graphics processing units (GPUs) — even those in use on Mac and Linux. The Rift, in contrast, is only supported on Windows.

“Asynchronous Reprojection (what Oculus calls ATW) works on only a subset of GPUs out there, and ASW works on an even smaller subset of GPUs,” Vlachos wrote in an email. “We are close to releasing our Asynchronous Reprojection feature which is very similar to ATW.” (UPDATE: It is here now)

Valve is also planning on working with GPU vendors to move forward with reprojection technology that makes “use of the hardware-generated motion vectors,” so something like ASW could be in the offing for Valve as well. That said, don’t expect a minimum specification coming from Valve.

“We have no plans to suggest a minimum spec that is based on reprojection right now,” Vlachos wrote. “Our goal is to provide high-quality VR to customers, and we see all reprojection techniques as a safety net for the occasional dropped frame… it is up to each software application to specify their min spec for that engine, since only they can vet what minimum GPU is actually required to render their assets at framerate.”

As both Oculus and Valve acknowledge, these techniques have different drawbacks. Among them are visual artifacts that might make someone uncomfortable. That’s why Valve, Vlachos wrote, is “going to continue to suggest a recommended spec to customers where most VR software applications hit 90 fps natively without requiring reprojection. We will continue to work with devs to improve their engines to hit framerate.”