Varjo kündigt AR-Funktion für Bionic Display VR-Headset an

Auf dem Mobile World Congress 2018 stellt das Start-up Varjo sein Headset mit Bionic Display aus. Nun schieben die Finnen eine Ankündigung hinterher, die aufhorchen lässt. Denn das VR-Headset mit hochauflösendem Display im Fokus-Bereich soll auch Augmented Reality beherrschen und damit AR und VR als Lösung aus einer Hand zusammenführen.

Varjo Bionic-Display-Headset soll AR und VR vereinen

Bisher sind die Welten streng getrennt: Auf der einen Seite gibt es die bekannten VR Headsets, auf der anderen AR-Brillen wie die HoloLens, Meta 2 und irgendwann in diesem Jahr die Magic Leap One. Varjo will mit seiner Hardware nun beide Nutzungsarten ermöglichen und verwendet dazu die Fähigkeiten eines speziellen Prozessors von Socionext, der auf die Verarbeitung von Bildern zugeschnitten ist.

Der CEO Urho Konttori von Varjo sieht in Socionet einen starken und verlässlichen Partner für State-of-the-art Bildverarbeitungslösungen. Mit der Socionext-Milbeaut-Technologie habe das finnische Unternehmen einen Weg gefunden, die echte und digitale Welt auf einem beispiellosen Niveau bezogen auf Realismus, Qualität und Latenz zu vereinen.

varjo vergleichWie das Gesamtpaket dann letztlich aussehen wird, bleibt allerdings noch abzuwarten. Es kann sein, dass Varjo die AR-Fähigkeit gleich in das Headset einbaut oder ein Add-on wie das ZED Mini anbietet. Das Zubehör für Oculus Rift und HTC Vive konnte in ersten Tests überzeugen, vor allem das Sichtfeld ist sehr viel weiter als bei den derzeitigen reinen AR-Brillen. Die ZED mini nimmt über zwei Kameras die reale Umgebung auf und leitet das Bild mit geringer, aber spürbarer Latenz an die VR-Brillen weiter. Prinzipbedingt entspricht die Auflösung des Bildes nicht der Realität.

Varje AR VRHier könnte die Varjo etwas dichter an die Wirklichkeit heranrobben, denn das Unternehmen hat mit seinem Bionic Display eine interessante Lösung verwirklicht. Ein Microdisplay in der Mitte bietet ein hochauflösendes Bild in Full HD, während ein zweiter Bildschirm dahinter gröber auflöst. Sinn des Verfahrens ist es, dass alles im Fokusbereich des Betrachters scharf dargestellt wird – Stichwort Retina. Allerdings gibt es noch ein Problem, denn das Fokus-Display müsste per Eye Tracking den Augenbewegungen des Benutzers folgen. Die Finnen arbeiten zwar daran, haben aber ein solches bewegliches System noch nicht realisiert.

Wer an der Varjo dennoch interessiert ist, kann sich auf der Webseite des Herstellers als möglicher Partner registrieren. Billig wird der Spaß ob mit oder ohne AR indes nicht, das Unternehmen peilt einen Preis zwischen 5000 und 10.000 US-Dollar für Prototypen seines Headsets an.

(Quelle: Road to VR)

Der Beitrag Varjo kündigt AR-Funktion für Bionic Display VR-Headset an zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

AR für Rift und Vive: ZED mini kann im Test beeindrucken

Bereits im September hatten wir über die ZED mini berichtet, mit der sich die VR-Brillen Oculus Rift und HTC Vive in AR-Headsets verwandeln lässt. Inzwischen liefert der Hersteller die ZED mini aus, allerdings muss man noch Geduld mitbringen, nämlich bis zu vier Wochen. Nun haben die Kollegen von Upload VR die ZED mini testen können und zeigen sich beeindruckt.

ZED mini für Oculus Rift und HTC Vive im Test

Die Idee ist eigentlich simpel: Zwei Kameras nehmen die Umgebung auf und bringen sie in die VR, wo man 3D-Objekte in die echte Umgebung einblendet. Somit erhält man eine hochwertige Augmented-Reality-Lösung, wobei hier ausnahmsweise die Bezeichnung Mixed Reality auch bestens passen würde. Die ZED mini räumt auch gleich eines der größten Probleme von AR-Systemen wie die HoloLens aus dem Weg: das kleine Sichtfeld. Der ist zwar etwas kleiner als bei den VR Headsets, soll aber immer noch  noch zwischen 100 und 110 Grad liegen. Die aktuelle Microsoft-Lösung besitzt dagegen nur ein FOV von 35 Grad. Mit einem Trick soll sich das Sichtfeld der HoloLens in Zukunft auf 70 Grad erhöhen, was aber immer noch deutlich kleiner als bei der ZED mini wäre.

Zed Mini Stereolabs Rift Vive

Die beiden Kameras der ZED mini liefern nicht nur das 3D-Bild in die VR, sondern ermöglichen zudem Inside-Out-Tracking, das im Test jederzeit einwandfrei funktionierte. Negativ aufgefallen war allerdings die kurze Latenz, an die man sich laut David Jagneaux von Upload VR aber nach einigen Minuten gewöhnen kann. Zudem enspricht die Auflösung prinzipbedingt nicht der „Realität“.

Sonnenlicht und Deckung suchen

In einem Video des Redakteurs sieht man gut die Vorzüge des weiten Sichtfeldes: Das eingeblendete Planetensystem kann den ganzen Sichtbereich einnehmen – da die ZED mini etwas weniger Sichtfeld als die VR-Brillen hat, schneidet sie auf den Seiten allerdings etwas weg, wodurch dem Tester schwarze Ränder auffielen. Beeindruckt war er hingegen von dem Effekt, als Sonnenlicht auf seine Hand schien und ihn für eine Sekunde denken ließ, dass seine Hand eigentlich wärmer werden müsste.

ZED Mini AR

Der Vorteil in AR: Man sieht die eigenen Körperteile.

Nach entspannten zwei Minuten gibt es dann Action zu sehen und den Kampf mit Drohnen, mit denen der Spieler Lasergefechte austrägt. Dabei kann man hinter realen Objekten in Deckung gehen. Ein Vorteil der Lösung wird in dem Video ebenfalls noch sichtbar. Anstatt einen virtuellen Körper in Besitz zu nehmen, sieht man beispielsweise die eigenen Hände. Die dritte und letzte Demo hat ihren Weg nicht ins Video geschafft. Erneut zog der Redakteur in den Kampf, dieses Mal à la Star Wars mit einem Laserschwert.

Nach der Vorbestellphase lässt sich die ZED mini als Entwickler-Kit nun sofort kaufen. Die Lieferzeit gibt der Hersteller allerdings mit drei bis vier Wochen an. Der Preis wirkt mit 450 US-Dollar auf den ersten Blick zwar etwas hoch, angesichts des Preisverfalls der Oculus Rift erhält man allerdings eine gute Alternative zum Konkurrenten Meta 2 – die kostet 1500 Dollar und ist auf die Augmented Reality beschränkt. Für Menschen, die nicht entwickeln, ist es derzeit wohl dennoch sinnvoll, auf Consumer-Versionen zu warten. Nicht nur die Preise könnten sinken, sondern es werden auch mehr AR-Inhalte zur Verfügung stehen.

(Quelle: Upload VR)

Der Beitrag AR für Rift und Vive: ZED mini kann im Test beeindrucken zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

Hands-On: The ZED Mini Is A Camera That Turns Your Rift Or Vive Into An AR Headset

Hands-On: The ZED Mini Is A Camera That Turns Your Rift Or Vive Into An AR Headset

You know how when you put someone in VR initially that doesn’t understand the technology or know very much about it, one of the first things they always do is reach out with their hands and try to touch the digital world? VR headsets like the Oculus Rift, HTC Vive, Samsung Gear VR, and all of the others don’t track your hand movement at all and instead rely on peripherally handheld controllers instead, but it doesn’t stop our brain from reacting that way. The simulation is so believable that, as impressionable creatures, we want to reach out and touch things.

The ZED Mini, a recently released attachable AR camera (it’s still basically a devkit, this isn’t a consumer product just yet) essentially lets you do just that. By attaching the camera to the front of an Oculus Rift or HTC Vive it transforms your otherwise insulated VR headset that can only be used to transport you to other worlds into an AR headset that can be used to augment the world around you.

Here’s a video showing a few of the things that are possible right now:

The technology behind the device is impressive. The team at StereoLabs built the device in such a way that it mimics how our own two eyes perceive the world around us. Using both lenses on the front of the camera it records and displays 3D video in real-time to the headset’s display so it feels sort of like wearing a visor and less like an enclosed helmet. The 110 degree field of view is also dramatically bigger than other AR devices we’ve tried, such as the Microsoft HoloLens’ paltry 35 degrees. It’s basically on par with the FOV found in the Rift and Vive already.

And since it uses the external camera for inside-out tracking (as opposed to the outside-in tracking that the Rift and Vive usually really on) you’re free to walk around, jump, crouch, and do pretty much whatever you want without worrying about whether or not your tracking sensors can see you.

I got the chance to check out the ZED Mini in action in San Francisco a couple of weeks ago and came away very impressed. I put on the properly equipped Oculus Rift just like I would usually, but this time instead of standing at the Oculus Home interface it was like having a form of x-ray vision that let me see through the headset using the ZED Mini camera.

There was a very minor, almost unnoticeable, delay in terms of how I moved and what I saw, as in a matter of milliseconds, but I got used to it after a few minutes.

I tried out three different demos. The first one, which is shown in the GIF above and featured at the start of the video at the top of the article, was a solar system simulation. They gave me a PlayStation Navigation controller (it wasn’t being tracked or anything, just for button inputs) and mapped a few commands to the buttons. Using it, I could resize the planets, move the system around, and then of course physically walk around the room to experience it.

What’s most remarkable about this particular demo is the dynamic lighting and occlusion. If my hand got close to the sun, for example, I’d see the light shining on my hand and for a split second my brain told my palm it should feel warmer even though it didn’t. And then the 3D depth sensing was so accurate I could move my hands all around the planets just as you see in the GIF above. If I went too fast or got too close to an object there was some clipping, but it certainly worked way better than I expected.

The next two demos featured Face Raiders-style flying droids. They’d spawn into the game world and start shooting at me so I could either block the lasers with my hands — something that alluded back to my opening comments about people trying to reach out and touch digital worlds while wearing a headset — or I could dodge them. Hiding behind a wall or a couch, for example, provided cover because the headset identified objects in my environment. Or I could just shoot them with my own laser too if I got bored.

My final demo was similar to he previous one, but this time the flying droids would dash at my head instead. And instead of shooting lasers, SteroLabs was showing off the hardware’s ability to recognize and augment objects in real-time. I was holding a physical lightsaber prop in my hands — as in basically a toy that looked like a lightsaber — and inside the headset it started to glow and light up with force-like energy. When the robots dashed at me I could swing the lightsaber to send them flying against the wall before they exploded into a dozen pieces. You can watch some footage of this in action in the second video near the top of this article.

Throughout all of the demos the ZED Mini never got confused or lost tracking or needed any sort of calibration refreshments. It even recognized the other people in the room, each of which I could use for additional cover if I wanted. That isn’t to say it’s perfect though; the visual clarity is obviously much lower than real life and the field of view, while better than other AR devices we’ve seen, was still lower than the native size of the lenses in the VR headsets. I could see some black trim along the edges, for example.

But all things considered, the ZED Mini is an impressive little kit that should help democratize AR adoption and development, particularly among existing VR users.

The ZED Mini isn’t the only device doing this sort of thing, but it is one of the only ones currently at market that can leverage existing hardware. The Intel Alloy, for example, does have similar goals but its hand-recognition feature has an odd ghosting effect and no one knows what the status of all that is exactly. HoloLens is way too expensive and is still a dev kit as well, so the ZED Mini may certainly find a market for itself among existing Rift and Vive users.

You can purchase a ZED Mini right now from StereoLabs for $449. As explained, this is still very much a dev kit phase and is not intended for a consumer launch just yet. Let us know what you think down in the comments below!

Tagged with: ,

ZED Mini Turns Your VR into AR This Winter

It’s long been thought that the line between virtual reality (VR) and augmented reality (AR) will blur, and the two technologies will eventually meet with one piece of hardware capable of doing both. Stereolabs is aiming to help that merger along, with the launch of the ZED mini development kit this month.

ZED mini action shotThe ZED mini depth camera turns a HTC Vive or Oculus Rift head-mounted display (HMD) into an AR capable device. By clipping ZED mini to the HMD, Stereolabs’ new depth camera captures the real world in stereo while simultaneously mapping it, allowing videogames and other 3D applications treat the real and virtual worlds as one with proper occlusion, collision, lighting, pathing and more between them.

After attachment to the front of an Oculus Rift or HTC Vive, the ZED mini feeds stereoscopic video from its two camers into the headset, letting the user see the real world. Stereolabs’ software simultaneously uses those video feeds to scan the environment and track its position within it, creating a fully-fledged AR device.

ZED mini is the little brother of the ZED, a long-range depth camera already widely used for drones, robots, 3D mapping and mixed reality (MR). It uses this same technology to provide stereoscopic images, depth, tracking and spatial mapping data to the application in real time, allowing a videogame or other app to treat real objects and environments in the same fashion as virtual objects. The ZED mini differs in that its cameras are closer together than the ZED’s at 65mm apart, meaning they line up with an average human’s eyes, allowing for its pass-through AR features.

The reduced baseline also allows it to map objects very close to the depth camera, such as the user’s hands or objects held within them, but can still map surfaces up to 15 meters away. Furthermore, Stereolabs’ own inside-out tracking technology means the HMDs no longer require their own tracking solutions, such as the Oculus Rift’s Constellation Trackers or the HTC Vive’s Lighthouse base stations. The camera connects via USB-C and attaches to the VR headset via a compatible mount.

ZED mini HTC ViveFor developers and content creators, Stereolabs will release an updated ZED SDK to coincide with the ZED mini launch. The update will include plugins for the Unity and Unreal Engine that make it easy to integrate virtual objects, lighting, particles and effects that properly integrate and collide with the real world. Developers will also be able to use HTC Vive motion controllers, Oculus Touch, PlayStation Move and other controllers and publish their applications on Steam.

The ZED mini will ship with several example apps for reference: an interactive planetarium, a virtual, resizable big-screen TV and a mini-game where users battle laser-flinging drones with lasers. Owners of the existing ZED camera can already start developing with the ZED SDK as apps developed for the ZED will be compatible with the ZED mini and vice versa.

The ZED mini will ship to developers on 18th December 2017, priced at $449 USD. Pre-orders are available from the official Stereolabs website and VRFocus will keep you updated with all the latest details on the ZED mini.

Stereolabs Showcase how to Convert a VR HMD into a MR HMD with Zed Mini Camera

VRFocus reported on Stereolabs back in 2016 when it launched its depth sensor ZED camera for mobile headsets.

At the Virtual Reality Developers Conference (VRDC) this fall they showcased the Zed Mini camera which is two times smaller than the ZED camera, as shown below.

The Zed Mini camera can be added to the Oculus Rift or HTC Vive as shown here.

Stereolabs’ Zed mini passes video through to each eye while simultaneously mapping the environment to add virtual objects with lighting and collisions.The stereo camera allows for depth sensing and motion tracking from 0.5 to 20m at 100 frames per second (FPS). It allows 6-axis positional tracking thanks to visual odometry technology with no markers or external sensors needed and can be ordered for $449 here.

Nina Salomons from VRFocus caught up with Chris Orris, Head of Marketing for Stereolabs at VRDC to check out the latest Zed mini camera. Check out the video below to find out more.

ZED mini verwandelt Rift und Vive in hochwertige AR-Brillen

Noch sind AR-Brillen wie die Meta 2 oder HoloLens nur als Entwicklerkits zu Preisen ab 1500 US-Dollar erhältlich. Günstiger wird es mit der ZED mini. Das System mit zwei Kameras ergänzt eine Oculus Rift oder HTC Vive und ermöglicht es, die reale Umgebung einzublenden. Außerdem bietet das ZED Mini Inside-Out-Tracking.

Zed Mini Stereolabs Rift Vive

ZED mini: AR und Inside-Out-Tracking für Oculus Rift und HTC Vive

Die ZED mini folgt der bereits erhältlichen ZED-Kamera, die auf dem gleichen Prinzip basiert. Wie der Name schon andeutet, hat der Hersteller Stereolabs den Formfaktor geschrumpft. Die Mini-Ausgabe ist halb so groß wie die alte ZED. Allerdings hat der Hersteller auch technische Updates vorgenommen und beispielsweise das Tracking verbessert. Der Preis bleibt mit knapp 450 US-Dollar gleich. Ben Lang von RoadToVR konnte die Mini-Version letzte Woche testen und kommt im Vergleich zu anderen AR-Brillen zu einem positiven Ergebnis.

Die ZED mini besitzt laut Erfahrungsbericht ein größeres Field of View als Microsofts HoloLens, kann aber nicht das ganze Sichtfeld der Oculus Rift ausnutzen. Das Inside-Out-Tracking soll laut Hersteller bis zu 15 Meter weit reichen und die Hardware eine geometrische Karte in Echtzeit berechnen können. In Langs Hands-on auf der Messe VRDC Herbst 2017 gelang das Tracking wohl ziemlich gut: Der Tester versteckte sich hinter einem Tisch vor einer Drone, die dann auch tatsächlich aus dem Bild verschwand. In einer zweiten Demo fuchtelte Lang mit einem virtuellen Lichtschwert herum und brachte die aufdringlichen Dronen zum explodieren.

Das Verfahren von Stereolabs bringt gegenüber „echten“ AR-Brillen Vor- und Nachteile mit sich. Da die Software virtuelle Objekte direkt auf Pixel der realen Objekte zeichnet, wirken diese laut Lang realer. Der halbtransparente Hologramm-Effekt entfalle. Andererseits muss man Einschränkungen bei der Bilddynamik und Auflösung hinnehmen.

Unter dem Strich empfiehlt Lang die ZED mini allen Entwicklern, die hochwertige AR-Erfahrungen schaffen wollen und bereits eine Oculus Rift oder HTC Vive besitzen. Alle anderen sollten auch die Meta 2 in Erwägung ziehen. Die ZED Mini lässt sich zum Preis von 450 Dollar vorbestellen, Stereolabs will die AR-Lösung in diesem November ausliefern.

Der Beitrag ZED mini verwandelt Rift und Vive in hochwertige AR-Brillen zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

Update: ZED Mini Turns Rift and Vive into an AR Headset From the Future

Stereo camera company Stereolabs has launched pre-orders for the ZED Mini, a smaller version of their stereo depth-mapping camera which fits on a mount made to attach to VR headsets like the Rift and Vive. When attached, the camera provides stereo pass-through video and real-time depth and environment mapping, turning the headsets into dev kits emulating the capabilities of high-end AR headsets of the future. The ZED Mini will launch in November.

Update (12/12/17): Stereolabs began ZED Mini pre-orders in September and now the company says they plan to begin their first shipments on December 18th. The company also confirms that each ZED mini will come with a VR mount for either the Rift or the Vive, and 720p video at 60 FPS for the AR mode (with lower FPS options up to 2K resolution).

Stereolabs also intends to update their ZED SDK to includes plugins for Unity and Unreal that “make it easy to integrate virtual objects, lighting, particles, and effects that properly integrate and collide with the real world. The SDK will come with several example apps. Further, the company says that developers will also be able to integrate Vive, Touch, PS Move, and other controllers into pass-through AR experiences.

Original Article (9/26/17): Apple’s ARKit and Google’s ARCore may be bringing AR tracking capabilities to smartphones, but it will be years yet before high-end immersive augmented reality headsets hit the consumer market. Today’s AR headsets, like the HoloLens and ODG R8, have very small fields of view compared to today’s VR headsets (~40 degrees compared to ~100).

The ZED Mini camera, attached to a VR headset, effectively emulates the sort of experience that AR glasses will hopefully achieve in the future—an immersive, wide field of view with real-time tracking and environment mapping.

With a special mount designed to attach to the Rift or Vive, the ZED Mini has two cameras spaced at 65mm (close to the human IPD average), allowing for comfortable pass-through stereo video into the VR headset. In addition to pass-through video, the camera compares the two different images from each camera to build a depth-map of the scene. The company claims the camera can detect depth out to an impressive 15 meters (49 feet). The camera also builds a geometric map of the environment in real time and fuses the data with an onboard IMU enabling positional tracking of the headset within the AR environment.

I got a chance to try the ZED Mini attached to a Rift for myself at VRDC Fall 2017 last week and came away quite impressed. Although the camera’s own field of view isn’t quite wide enough to completely fill the Rift’s field of view, it still presented a large, immersive view of the real world in front of me, far surpassing today’s AR headsets.

At first I was just looking at the crowd standing in front of me. Then I saw a floating menu representing several different demo experiences I could launch. I launched the droid attack game which began to spawn spherical, floating droids in the world around me. As they approached, I saw convincing occlusion as the drones flew behind people and objects nearby. That meant I could duck behind the table in front of me and the drone would be hidden from my field of view by the table, as if the drone was really behind it. As I moved my head around to get a feel for the occlusion, the inside-out positional tracking held up fairly well in my time testing the device, though I’d want a more extensive testing session to get a better feel of the tracking and pass-through latency; I was quite distracted by the impressive occlusion.

In another demo I held a lightsaber prop which was sensed by the camera and a properly glowing end was overlaid on top of it. Using the prop I was able to bat the drones and send them flying to an explosive death. A strong swing would send them flying fast while a gentle poke would be reflected as a mere shove; a rather convincing fusion of an arbitrary, unmarked prop into an AR scene.

There’s pros and cons to doing pass-through AR instead of transparent AR. For one, the augmented parts of the world can look quite a bit more real because the pixels are drawn directly on top of the image of the real world, eliminating that semi-transparent ‘hologram’ look that you’ll find on transparent AR displays (caused by the fact that it’s difficult to create pixels that can occlude 100% of the light from the outside world when dealing with a transparent display). On the flip side, our eyes have excellent resolution and contrast ratio, which generally means we limit our dynamic range (the ability to see dark and light areas of a scene at the same time) and visual fidelity when using pass-through AR (not to mention the potential to introduce latency).

Either way, if devs want to get a head start on AR development for high field of view AR headsets of the future, the ZED Mini seems like it warrants serious consideration.

Image courtesy Stereolabs

Last week the company launched pre-orders for the device priced at $450, with plans to begin shipping in November. As an add-on to the Rift or Vive, it’ll appeal moreso to developers who already own those headsets, while developers just getting starting in the world of immersive computing might also consider the Meta 2.

The post Update: ZED Mini Turns Rift and Vive into an AR Headset From the Future appeared first on Road to VR.