Microsoft Patents Wand-Like Augmented Reality Controller

Microsoft’s HoloLens already has a physical input device, the HoloLens Clicker, but in a recently published patent, we may be getting a peek into what the company was initially planning before they decided to include each HoloLens with the tiny 3DoF device.

First spotted by The Verge via Twitter user WalkingCat, the proposed wand features a trigger and what appears to be a touchpad and button just where the thumb would rest.

The Clicker (which comes with HoloLens) already lets you essentially replace hand gestures so you can select, scroll, move, and resize 3D objects with the touch of a button, but the proposed device revealed in the patent appears to fit a different use-case, with its integrated trigger easily conjuring up thoughts of interactions like gripping items and possibly firing guns.

image courtesy Microsoft

These sorts of gaming-intensive interactions would ideally best be handled by something like Microsoft’s recently revealed motion controllers, but these critically do not support HoloLens, and are only for use with the company’s line of VR headsets.

While no supporting information was included in the official patent detailing the exact function of the touchpad and button below it, the patent specifically cites a Google Glass-compatible concept device created by industrial designer Jorge Trevino as a source of inspiration. Tentatively named Google Draw (the concept was created by Trevino, and is not a Google product), the AR stylus was imagined to work as both a pen for taking notes and a spray can.

image courtesy Jorge Trevino

Critically, the design of Microsoft’s AR input device wouldn’t be held like a stylus though, as it appears to be ergonomically similar to Vive’s Lighthouse motion controllers.

It’s unclear at this point if the company intends on producing the wand, although our hunch says it’s probably just an early concept. After all, we already got an eye-full last year during a Microsoft promo for their Mixed Reality platform. There’s still no telling what direction the next iteration of Microsoft’s HoloLens will take however, or whether the platform is making way for more dedicated AR gaming apps to fit alongside its productivity-focused Windows Universal Platform apps. Either way, we’ll be watching Microsoft intently for their next move to see if the device ever sees the light of day, or fades into obscurity.

The post Microsoft Patents Wand-Like Augmented Reality Controller appeared first on Road to VR.

Microsoft Patents Wand-Like Augmented Reality Controller

Microsoft’s HoloLens already has a physical input device, the HoloLens Clicker, but in a recently published patent, we may be getting a peek into what the company was initially planning before they decided to include each HoloLens with the tiny 3DoF device.

First spotted by The Verge via Twitter user WalkingCat, the proposed wand features a trigger and what appears to be a touchpad and button just where the thumb would rest.

The Clicker (which comes with HoloLens) already lets you essentially replace hand gestures so you can select, scroll, move, and resize 3D objects with the touch of a button, but the proposed device revealed in the patent appears to fit a different use-case, with its integrated trigger easily conjuring up thoughts of interactions like gripping items and possibly firing guns.

image courtesy Microsoft

These sorts of gaming-intensive interactions would ideally best be handled by something like Microsoft’s recently revealed motion controllers, but these critically do not support HoloLens, and are only for use with the company’s line of VR headsets.

While no supporting information was included in the official patent detailing the exact function of the touchpad and button below it, the patent specifically cites a Google Glass-compatible concept device created by industrial designer Jorge Trevino as a source of inspiration. Tentatively named Google Draw (the concept was created by Trevino, and is not a Google product), the AR stylus was imagined to work as both a pen for taking notes and a spray can.

image courtesy Jorge Trevino

Critically, the design of Microsoft’s AR input device wouldn’t be held like a stylus though, as it appears to be ergonomically similar to Vive’s Lighthouse motion controllers.

It’s unclear at this point if the company intends on producing the wand, although our hunch says it’s probably just an early concept. After all, we already got an eye-full last year during a Microsoft promo for their Mixed Reality platform. There’s still no telling what direction the next iteration of Microsoft’s HoloLens will take however, or whether the platform is making way for more dedicated AR gaming apps to fit alongside its productivity-focused Windows Universal Platform apps. Either way, we’ll be watching Microsoft intently for their next move to see if the device ever sees the light of day, or fades into obscurity.

The post Microsoft Patents Wand-Like Augmented Reality Controller appeared first on Road to VR.

VR-Strategiespiel Skyworld erscheint im Herbst 2017

Das VR-Strategiespiel Skyworld von Vertigo Games war eines der ersten vorgestellten VR-Spiele für die HTC Vive überhaupt. Im Jahr 2015 konnte man erstmals einen Blick auf das Top-Down-Strategiespiel in Form einer Demo für die das Headset von HTC werfen. Nun erscheint im Herbst 2017 – knapp zwei Jahre später – die Vollversion des VR-Titels.

Skyworld – ein Top-Down-Strategiespiel in VR

Auf der GDC 2015 veröffentlichte Valve erstmals die revolutionäre VR-Brille HTC Vive und zeigte zeitgleich einige Demos. Das VR-Strategiespiel Skyworld befand sich damals darunter und begeisterte die Zuschauer. Danach wurde es jedoch ruhig um den VR-Titel, besonders da sich die Entwickler hauptsächlich um den erfolgreichen Zombie-Shooter Arizona Sunshine kümmerten. Doch dies ändert sich nun, denn Vertigo Games kündigt nun offiziell die Veröffentlichung des Strategiespiels Skyworld im Herbst 2017 an. Das VR-Strategiespiel entsteht in Kollaboration mit Wolfdog Games und erscheint für Oculus Rift, HTC Vive und Windows VR-Brillen.

Skyworld-Vertigo-Games-Topdog-VR-HTC-Vive-Oculus-Rift-Microsoft-VR

Innerhalb des Top-Down-Strategiespiels taucht ihr in eine animierte Fantasywelt im Polygonstil ein und schlüpft in die Rolle eines Königs. Dieser fungiert als Herrscher über die Welt und erteilt die Kommandos an seine Untergebenen. Dafür macht sich das VR-Spiel klassische Strategiespiel-Elemente zunutze und kombiniert sie mit einer intuitiven Steuerung. Dazu zählen rundenbasierte Kämpfe, in denen ihr euer taktisches Geschick beweisen müsst. Neben den rundenbasierten Aktionen sind auch schnelle Echtzeitkämpfe ein Teil des Gameplays.

Skyworld-Vertigo-Games-Topdog-VR-HTC-Vive-Oculus-Rift-Microsoft-VR

Während der Singleplayer-Kampagne ist es eure Aufgabe, die Welt von Skyworlds zu erobern und deren Bewohner erneut zu vereinen. Außerdem könnt ihr zum kurzen Zeitvertreib einfache Scharmützel gegen die KI spielen. Auch spannende Multiplayer-Gefechte gegen andere Spieler werden möglich sein. Zusätzlich wird das Spiel einen Cross-Plattform-Support erhalten, um auch online gegen Besitzer anderer VR-Headsets anzutreten.

Derzeit veröffentlichten die Entwickler lediglich einen Teaser zum Spiel, der noch keine genaueren Details zum Gameplay verrät. Das VR-Strategiespiel soll im Herbst 2017 für Oculus Rift, HTC Vive und Windows VR-Brillen auf Steam erscheinen. Sobald weitere Ankündigungen zum Titel veröffentlicht werden, informieren wir euch darüber.

(Quellen: Road to VR | Steam | Video: Vertigo Games Youtube)

Der Beitrag VR-Strategiespiel Skyworld erscheint im Herbst 2017 zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

Developer Offers First Look at Acer’s “Windows Mixed Reality” VR Headset Dev Kit

Software developer Shachar “Vice” Weis has described his first impressions of Acers Windows Mixed Reality VR headset dev kit on his blog. His company, Packet39, makers of VR game Orbital Injection, recently received the Developer Edition headset made by Acer, which was due for an August delivery alongside a similar headset from HP.

As you might expect from a headset available for $300 (and aiming to maintain a similar price for the consumer version), the packaging is as basic as possible, and the developer unit comes with no accessories. The headsets will support motion controllers, but it appears these aren’t available for developers just yet.

Image courtesy Shachar Weis

Weis calls out Microsoft’s rather confusing use of the term “Mixed Reality” for what is a fairly conventional VR headset, noting that it lacks any features that blend realities together (beyond the boundary-warning system). “It’s not a ‘Mixed Reality’ headset by any means I can think of”, he says. “It’s a VR headset, nothing more, nothing less. There is no real-world 3D overlay, optically or with the cameras”.

The most notable feature of Microsoft’s design is the ‘inside-out tracking’—which shares some of its technology with Microsoft HoloLens—requiring no external devices or sensors to achieve positional tracking. However, it doesn’t support the same spatial mapping as HoloLens, as indicated on Microsoft’s Dev Center page, instead using two front-mounted sensors purely for headset tracking.

Image courtesy Shachar Weis

Weis’ impressions of the headset align closely with our hands-on from the Microsoft Build conference in May, describing a cheap-feeling but pleasantly light unit (although it appears to have gained a few grams at 380g), with a useful but “somewhat awkward” flip-up mechanism. The strap is made from rigid plastic with a basic locking rachet, that is “not very smooth or elegant, but gets the job done”. It is missing certain useful features like hardware IPD adjustment (seen on the the two other headsets already on the market), built-in mic or headphones (also on those headsets), but it does have an audio jack, and the convenience of detachable foam (velcro) and an IR proximity sensor inside to detect when the headset is being worn.

The straightforward hardware design extends to the setup, as it connects directly to a PC via USB 3.0 and HDMI, with no breakout box or additional power required, and Windows appears to automatically detect and install the drivers and software.

Image courtesy Shachar Weis

Weis had some problems with the initial setup within the ‘Mixed Reality Portal’ software, taking “several attempts” to map out the play space, which is done by walking around the perimeter, holding the headset at waist height. While the cable length is similar to the Rift, Microsoft’s setup procedure could have benefited from a more generous cable. “Even with the cable fully extended, the biggest area I could trace was too small”, he says. “I had to move the computer and try again”.

Current inside-out tracking quality is unable to match the precision of tracking systems like the Rift’s ‘Constellation’ and the Vive’s ‘Lighthouse’ technology, but Weis finds it works well enough.

Image courtesy Shachar Weis

“It’s impressively good for an inside-out tracking system with no external sensors or transmitters”, he says. “The headset supports full room-scale, 6DOF tracking, with an occasional jitter / flicker when you move your head quickly. Again, the Vive / Rift is better, but this comes very close”.

The higher resolution displays (dual 1,440 x 1,440 vs. 1,080 x 1,200) result in a “sharper image” and “considerably less screen door effect”, than the Rift or Vive, but are let down by lower quality optics, as we also noted in our hands-on.

“The sweet spot is small and the edge smear is very pronounced”, says Weis, “you can clearly see a circular edge”. Our hands-on also described a lower field of view, and indeed the “95 degrees horizontal” per the Acer specifications is slightly lower than the Rift or Vive.

Weis describes the lenses as ‘hybrid’, although he seems to be using the term (which can refer to several things in optics) differently to Oculus, whose ‘hybrid’ lenses in the Rift refer to the asymmetrical shape combined with Fresnel rings. Acer’s Fresnel solution is likely more conventional than the Rift.

Without motion controllers for now, the UI is operated by voice or a mouse / keyboard interface that “looks cumbersome but it actually works.. OK (ish).” Weis recorded a couple of clips showing the boundary warning, which operates similarly to the ‘Chaperone’ ystem in SteamVR, and the basic interface of bringing up windows that can be positioned freely in space or align intelligently with the walls and other surfaces of the virtual environment.

The post Developer Offers First Look at Acer’s “Windows Mixed Reality” VR Headset Dev Kit appeared first on Road to VR.

SketchAR ermöglicht Wandmalereien mit der HoloLens

Mit SketchAR steht eine neue AR-Anwendung für die HoloLens von Microsoft bereit, mit der ihr eure Wohnung in der Realität verschönern sollt. Bewaffnet mit Pinsel und Farbe werdet ihr reale Kunstwerke erschaffen, ohne eine Begabung zu benötigen.

SketchAR: Wandmalereien mit der HoloLens

Das Prinzip der Anwendung ist simpel: Ihr wählt eine hinterlegte Zeichnung aus und platziert diese mit der HoloLens an der gewünschten Fläche. Anschließend greift ihr zum realen Pinsel und zieht die Linien an der Wand nach. Im Endeffekt also eine Technik, welche auch gerne mit einem Beamer umgesetzt wird, doch mit der HoloLens könnte das Zeichnen noch einfacher werden, da man nicht selbst Teil der Projektionsfläche wird. Zudem lassen sich per Geste schnell die Größe, Ausrichtung und die Deckkraft einstellen, damit ihr die Session nicht unterbrechen müsst, falls ihr Änderungen vornehmen wollt.

SketchAR HoloLens

SketchAR könnt ihr euch im Store von Microsoft kostenlos herunterladen. Die HoloLens von Microsoft ist aber leider noch nicht als Produkt für Konsumenten verfügbar und die aktuelle Version wird für über 3000 Euro angeboten. Eventuell könnte es aber demnächst auch hochwertige AR-Brillen geben, welche nur einen Bruchteil der Brille von Microsoft kosten. Immerhin hat Lenovo schon ein Referendesign gezeigt, doch aktuell ist noch nicht klar, wann die daystAR Brille von Lenovo zu einem echten Produkt wird.

Der Beitrag SketchAR ermöglicht Wandmalereien mit der HoloLens zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

HoloLens 2.0 to Put a Custom A.I. Chip at the Heart of Its On-board Processor

Microsoft has undoubtedly been working on the next version of HoloLens, the company’s AR headset, but now we know a little more about what’s going into the next iteration: a Microsoft-built custom AI chip designed to carry out low-latency computer vision tasks.

Taking the stage yesterday at the Computer Vision and Pattern Recognition conference (CVPR) 2017, Microsoft’s VP of Artificial Intelligence and Research Harry Shum announced that the next version of HoloLens will contain a new Holographic Processing Unit (HPU), the custom processor tasked with handling all information coming from the headset’s on-board sensors.

Revealed in a blogpost by HoloLens’ Director of Science Marc Pollefeys, a newer version of the headset will incorporate an “AI coprocessor”—a custom chip built expressly for machine learning that implements deep neural networks (DNNs) on the device itself. Using a first-gen HoloLens hooked up to a PC containing the new AI coprocessor, Microsoft showed 3 complex hand-tracking models running contemporaneously.

image courtesy Microsoft

As reported by BloombergMicrosoft says this the AI-capable chip is the first of its kind designed for a mobile device, one that’s light, energy efficient, and can carry out the real-time AI processing on-board instead of sending data to the cloud. This is to ensure minimum possible latency in computer vision tasks like hand tracking, object and voice recognition.

“The AI coprocessor is designed to work in the next version of HoloLens, running continuously, off the HoloLens battery,” says Pollefeys. “This is just one example of the new capabilities we are developing for HoloLens, and is the kind of thing you can do when you have the willingness and capacity to invest for the long term, as Microsoft has done throughout its history. And this is the kind of thinking you need if you’re going to develop mixed reality devices that are themselves intelligent. Mixed reality and artificial intelligence represent the future of computing, and we’re excited to be advancing this frontier.”

There’s no official word from Microsoft on when to expect the second iteration of HoloLens, although the Verge contends its due out sometime in 2019.

The post HoloLens 2.0 to Put a Custom A.I. Chip at the Heart of Its On-board Processor appeared first on Road to VR.

VFX Master Phil Tippett Brings His Grotesque Creations to HoloLens in ‘HoloGrid: Monster Battle’

Game studio HappyGiant and Tippett Studio, the production firm founded by stop-motion guru Phil Tippett, has launched HoloGrid: Monster Battle (2017) on Microsoft’s HoloLens platform. First appearing on Samsung Gear VR, the tactical strategy game combines elements of chess, board games, and collectible card games—of course with the grotesque HoloChess-style monsters spawned from the mind behind visual effects of the original Star Wars trilogy, Jurassic Park (1993), and RoboCop (1987).

HoloGrid: Monster Battle is now on now on the Windows Store for $4.99, and includes the full gamut of things only currently possible with HoloLens; spatial mapping and spatial sound, gaze tracking, gesture input, and voice control.

image courtesy Happy Giant

“HoloGrid: Monster Battle allows you to see table top games in an entirely new way, mixing digital holograms of chess battle with the real world,” said Brandon Bray, leader of Microsoft’s Windows Mixed Reality Developer Ecosystem. “It’s amazing! I’m excited to see Happy Giant pioneering the path to bring games to life in your own home.”

According to the press release, HoloGrid was inspired in part by the Star Wars HoloChess scene and created in conjunction with two-time Academy Award winner Phil Tippett. Bringing Tippett’s grotesque creatures to life in augmented reality, gameplay has been compared to card games like HearthStone, but rather set on a grid like Chess where players duel against both AI and real opponents.

The game currently supports cross-play multiplayer between iOS, Android mobile devices and Samsung Gear VR.

“Playing HoloGrid on HoloLens is the ultimate experience. It fulfills the purest vision yet of the game we set out to make, and that I was inspired to play 40 years ago when I saw Star Wars as a young kid,” said Mike Levine, HappyGiant Founder and Creative Director. “Phil Tippett called it “magic” when I showed it to him, and I think that says it best.”

The post VFX Master Phil Tippett Brings His Grotesque Creations to HoloLens in ‘HoloGrid: Monster Battle’ appeared first on Road to VR.

AR-Brettspiel Echelon für HoloLens bringt das Holo-Schach in die Realität

Brett- und Gesellschaftsspiele sind jeher ein großartiger Spaß für Freunde und Familie. Die Kombination dieser Spiele mit der AR-Technologie konnte man bisher nur in Science-Fiction-Filmen, wie Star Wars sehen. Dort gibt es das Holo-Schach auf dem Millenium Falcon, bei dem sich Chewbacca und C-3PO die Zeit vertreiben. Das Unternehmen Helios Interactive bringt die Augmented Reality Brettspiele nun mit dem Spiel Echelon in die heutige Zeit.

Echelon: AR-Brettspiel für mehrere Spieler

Das amerikanische Unternehmen Helios Interactive entwickelt derzeit das AR-Brettspiel Echelon, das von mehreren Spielern mit der Microsoft HoloLens gespielt werden kann. Damit könnte es neue Maßstäbe für unser zukünftiges Spieleverhalten setzen.

Das Spiel funktioniert folgendermaßen: Die Mitspieler setzen sich eine HoloLens auf und starten das Spiel. Daraufhin nutzt jeder Mitspieler diverse Karten zum Hervorrufen von Kreaturen, die den Sieg bringen sollen. Laut den Entwicklern des Spiels basiert das Gameplay auf klassischen Brettspielmechaniken.

Echelon-AR-Brettspiel

Diese werden durch Augmented Reality jedoch futuristisch dargestellt. Die Darstellungen beziehen sich dabei auf die Kreaturen und verschiedenen Spielteile, welche hologrammartig angezeigt werden. Dadurch wird den Spielern eine immersive Spielerfahrung geboten.

Der Hersteller Devin Fuller Knight von Helios Interactive sagt zum Projekt Folgendes:

“Die Tatsache, dass man mit einer HoloLens jede Menge Erfahrungen alleine bestreiten kann, ist schon unglaublich spaßig. Nutzt man die HoloLens jedoch zur Interaktion mit anderen Spielern, während alle Mitspieler dieselbe Welt sehen, ist das Ganze noch viel besser.”

Der Entwickler des Spiels Kristafer Vale wurde tatsächlich vom Holo-Schach in Star Wars inspiriert. Er erzählte, dass er es sofort, nachdem er dieses Spiel im Film sah, spielen wollte. Jedoch musste er bis zum heutigen Zeitpunkt warten, bis die notwendige Technologie, wie Unity und die HoloLens verfügbar waren.

Star-Wars-Holo-Schach

Quelle: Lucasfilm

Wann Echelon erscheint, steht bisher noch nicht fest. Es bleibt jedoch spannend, denn derartige AR-Spiele könnten für eine Revolution des klassischen Brettspielmarkts sorgen.

(Quellen: RoadtoVR | Helios Interactive | Bild: Lucasfilm | Video: Hilary Dennis Youtube)

Der Beitrag AR-Brettspiel Echelon für HoloLens bringt das Holo-Schach in die Realität zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

WaveOptics sammelt über 15 Millionen USD für AR-Displays

Das britische Unternehmen WaveOptics konnte über 15 Millionen US-Dollar in der zweiten Investitionsrunde für ihre AR-Displaytechnologie sammeln. Die führenden Investoren sind bekannte Unternehmen, wie Touchstone Innovations, Robert Bosch Venture Capital GmbH, Octopus Investments und Gobi Ventures. Mit den Investments ist WaveOptics in der Lage ihre Augmented Reality Technologie schneller zu entwickeln und neue Märkte zu erschließen.

Waveguide-Technologie überzeugt Investoren

WaveOptics entwickelt derzeit AR-Brillen mit integrierter holografischer Waveguide-Technologie. Die Nanotechnik überlagert digitale Farbbilder auf Oberflächen jeglicher Form und Größe. Zudem erlaubt sie eine wesentlich erweiterte Sicht. Die Technik ist in der Lage das Licht durch ein Mikrodisplay auf der Glaslinse zu kanalisieren. In Zukunft soll die Linse jedoch durch Plastik ersetzt werden. Die herkömmlichen AR-Technologien verwenden Prismen, Spiegel oder schwer zu beschaffende Materialien, während WaveOptics sich die Waveguide-Hologrammtechnik und photonische Kristalle zunutze macht. Dadurch werden das leichte Design und die hervorragende Optik ermöglicht.

Der Vorsitzende von WaveOptics Martin Harriman sagte dazu Folgendes:

“WaveOptics ist dabei den AR-Markt, durch die neue AR-Displaytechnologie, neu zu erfinden. Diese ermöglicht ein größeres Sichtfeld und vollere Farbbilder – eine Kombination, wie man sie auf dem heutigen Markt nur selten findet. Die Investitionsrunde beschleunigt die Entwicklung unserer führenden AR-Technologie und ermöglicht uns neue Programme in neuen Märkten und Gebieten zu erschließen. Wir freuen uns sehr darüber die neuen Investoren, die unsere Visionen teilen, an Board zu haben.”

Aktuell gibt es jedoch noch kein für den Massenmarkt fertiggestelltes Produkt von WaveOptics, jedoch soll sich dies durch die bevorstehende Expansion verändern, kündigte Herr Harriman an. WaveOptics konnte als erstes Unternehmen weltweit einen Prototyp entwickeln, der Augmented Reality mit einer guten visuellen Optik ermöglicht und dies in einer kompakten Form integriert. Zudem sind die Herstellungskosten wesentlich geringer als bei bisherigen Entwürfen.

Die Waveguide-Technologie wird bereits in diversen Projekten verwendet, so auch in der Microsoft HoloLens oder der Vuzix M3000. Wir dürfen gespannt sein, wie sich die AR-Technologie auf den Markt auswirkt.

(Quellen: RoadtoVR | Venturebeat | WaveOptics | Video: WaveOptics Youtube)

Der Beitrag WaveOptics sammelt über 15 Millionen USD für AR-Displays zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

‘Echelon’ Mixed-Reality Board Game is Like Star Wars ‘HoloChess’ for HoloLens

Created by Helios Interactive, Echelon is a multi-player board game played in Hololens mixed-reality that, as an proof of concept, gives us a look into what sort of games we might be playing in the future when we’re not engaged in the many augmented reality productivity-based activities like navigating with turn-by-turn directions or skyping with a work colleague.

Using cards to spawn creatures, the game’s developers say Echelon builds on gameplay mechanics as seen in many traditional physical board games but “augments” them with mixed reality creatures and game pieces, enabling the players to experience an immersive augmented reality gaming experience.

Helios Interactive Producer Devin Fuller Knight says the project highlights “the fact that you can actually interact with another player in a HoloLens and [while] being in a HoloLens is really fun, it’s such a solo experience. The idea of actually being able to interact with another player and both being able to see the same world exist in the same [space] is really fun.”

SEE ALSO
Video Gives Us a Peek Into the Future of How AR and VR Will Work Together

“When I saw the HoloChess game in Star Wars,” says Helios developer Kristafer Vale, “I immediately wanted to play that game, and I had to wait until now for us to have the technology like Unity and HoloLens to be able to realize that dream.”

There’s no word on when the game will be available on Window’s Holopgraphic Store.

image courtesy Microsoft

While HoloLens presents the user with a fairly limited field of view (as seen above), a near-field object like a game board plays to the headset’s strengths. Still costing $3000 however is a big barrier of entry for prospective AR developers, which is precisely why so many people are experimenting with Apple’s ARKit.

The post ‘Echelon’ Mixed-Reality Board Game is Like Star Wars ‘HoloChess’ for HoloLens appeared first on Road to VR.