Category: Fingo

Posted on

Developer Showcases ARCore Painting App Using Fingo Hand Tracking

In the world of augmented reality (AR) 2016 was dominated by Pokemon GO whilst this year its been far more focused on development, namely Apple’s ARKit and most recently Google’s ARCore. VRFocus has covered several interesting projects utilising both programmes and now here’s another. In what could be a first, videogame producer Rick Mendez has revealed a new project created using ARCore that uses Fingo hand tracking technology to paint with.

Simply called PaintAR, the only details Mendez has released so far all stem from a short tweeted video. In it he showcases how the app allows a user to paint by pinching their index finger and thumb together, with brush stokes easily viewable from any angle as he walks around it.

That’s achieved with the right hand, while pinching with the left opens up a menu with various brushes to choose from, a colour wheel, and a brush size adjuster.

As ARCore has only just been made available to developers PaintAR is still in its early stages but what makes it unique is the implementation of Fingo. Created by uSens, Fingo is a 3D-stereo vision, hand-tracking device with 26DOF to track 22 finger joints. While the Fingo is a device that usually attaches to a head-mounted display (HMD) Mendez hasn’t shown how its been used with a mobile device.

uSens also happens to be working on SLAM-based 6DOF tracking for mobile virtual reality (VR) and AR which could also see use with ARCore in the future.

This week also saw ManoMotion release its software development kit (SDK) for ARKit, essentially allowing similar hand tracking inputs, with predefined gestures, such as point, push, pinch, swipe and grab.

Whilst still in the early stages it seems as though future AR content for consumers won’t just be a case of tapping on a screen, with them being able to bring their hands into these augmented worlds. As development continues VRFocus will keep you updated.

Posted on

uSens Reveals American Winners Of uDev Challenge

The Augmented World Expo (AWE) played host to a number of announcements today including, amongst others the reveal by VR tracking specialists uSens of the winners uDev Challenge for America. This followed a sister competition in China.

The projects, which required use of uSens’ own Software Development Kit (SDK) for augmented reality (AR) and virtual reality (VR) and could utilize either the Samsung Gear VR, Google Cardboard, HTC Vive or the Oculus Rift. And were initially narrowed down to a selection of semi-finalists by a judging panel consisting of members of the uSens, Samsung and the Silicon Valley Virtual Reality Meetup group.

“We were impressed by the quality and creativity of the projects submitted by our semifinalists.” Explained uSens CTO and company co-founder Dr. Yue Fei . “Our winners integrated Fingo modules,” uSens’s tracking device, which recently received an upgrade, “in imaginative ways and demonstrated the ability to make engaging, exciting use of our tracking technology to benefit end-users. I’m very pleased about the promise of future applications of our tracking tech.”

$50,000 (USD) was won by the grand prize winner, Chris Wren who developed MonsterShop an application for VR retail.

Wallace Lages came in second for spellcasting mobile game Krinkle VR, netting the developer $25,000 (USD).

Third place was won by a medical related tool called Embodied Labs developed by Tom Leahy. Which shows the degeneration of the macular, a very small but important part of the retina. It’s a condition that results in people losing their central vision.

The US prizes bring the total amount awarded across both challenges to $200,000. VRFocus will bring you more news from AWE 2017 throughout the week.

Posted on

Fingo: System für Finger-Tracking und Head-Tracking bestellbar

Was fehlen Samsungs Gear VR und Googles Daydream, was die großen Systeme Oculus Rift und HTC Vive mitbringen oder per Zubehör erhalten? Richtig, ein Kopf- und Hand-Tracking. Fingo will dies ändern und bringt eure Hände in die virtuelle Realität. Dabei erfasst das System sogar Finger und soll deshalb auch HTC Vive Nutzer und Oculus Rift Besitzer ansprechen. Die Lösung lässt sich jetzt als Entwickler-Kit für knapp 100 US-Dollar bestellen.

Fingo: Inside-Out-Tracking mit Fingererkennung

Mit dem Inside-Out-Tracking-Modul Fingo kann man herkömmliche VR-Brillen mit einem Tracking-System nachrüsten. Dafür wird das Modul einfach auf der Brille aufgesteckt. Das System verwendet zwar lediglich ein Kameramodul mit zwei Linsen, schafft aber laut Dr. Yue Fei von uSense erstaunliche Ergebnisse und kann insgesamt 22-Fingergelenke erkennen. Fingo soll 6-DOF (degrees of freedom) beim Head-Tracking und 26-DOF beim Hand-Tracking ermöglichen.

Damit wird das System auch für Besitzer von HTC Vive und Oculus Rift interessant. Allerdings fügt der Cheftechniker und Mitbegründer von uSense hinzu, dass man beim Tracking erst am Anfang der Entwicklung stehe. Aktuell ist nicht klar, ob das System deutlich bessere Ergebnisse als der Leap Motion Controller beim Hand-Tracking erzielen kann. Zudem würde es uns überraschen, wenn Fingo ein ähnliches Inside-Out-Tracking wie die HoloLens von Microsoft bereitstellt.

Während Systeme wie HTC Vive, PSVR und Oculus Rift externe Kameras oder Laserstationen benötigen, ermöglichen Inside-Out-Systeme die räumliche Erfassung ohne zusätzliche Hardware im Zimmer. Das macht die Installation wesentlich komfortabler und flexibler. Die kommenden Microsoft Mixed-Reality-Brillen beispielsweise von Acer, HP und Lenovo verwenden das Inside-Out-System.

Neben der Bestellseite hat uSense auch ein Entwicklerportal freigeschaltet, auf dem sich das SDK herunterladen lässt.

(Quelle: VR Focus)

Der Beitrag Fingo: System für Finger-Tracking und Head-Tracking bestellbar zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

Posted on

Single-Camera VR/AR Tracking Unveiled by uSens

Most current PC-based virtual reality (VR) systems rely on tracking sensors for head and hand tracking, which means positioning several tracking modules in the right position, which can be awkward for people with small or unusually-shaped rooms. Tracking technology specialist uSens is aiming to remove that requirement with advances in its Fingo camera technology.

VRFocus have covered the Fingo before, but the technology has since made an advance. Combining the dual-lens Fingo camera with inside-out six degrees-of-freedom (6DoF) technology, it is now possible to achieve full head and hand tracking with only one Fingo camera. uSens claim that the Fingo system offers better accuracy and flexibility than other inside-out systems such as the HoloLens.

uSens Inc Color Fingo

“While VR and AR has exploded in the popular conscious in the last year, realistic tracking technology is still in its early stages of development. The proprietary algorithms in the next generation of our Fingo tracking module will enable this new, combined 6DOF head tracking plus 26DOF hand tracking technology,” said Dr. Yue Fei, chief technology officer and co-founder of uSens, “With only a single stereo camera module, our solution is far more compact and cost-effective for developers seeking to generate more realistic content with lifelike mobility.”

The Fingo module is currently available for developers from the uSens website. Fingo is capable of tracking 22 finger joints at low latency times, allowing users to interact with virtual objects. The Fingo supports both mobile VR systems such as Samsung Gear VR and Google Daydream as well as PC-based systems such as Oculus Rift and HTC Vive. The development kit for the Fingo module costs $99 (USD). You can watch a demonstration video of the technology below.

VRFocus will bring you further news on the Fingo module and other advances in VR tracking technology as it becomes available.

Posted on

uSens: Positional Tracking für Mobile VR durch Fingo

Positional Tracking für mobile VR-Erfahrungen wird wohl auch in diesem Jahr nicht für Konsumenten möglich sein. Zwar hatte Carmack vor einiger Zeit gesagt, dass das System von Oculus langsam aber sicher funktioniere, doch seit dieser Info gab es keine neuen Hinweise oder Bilder von Oculus zu sehen. Doch Positional Tracking für Mobile VR könnte VR zu einem ganz neuem Erlebnis machen, denn es würde die ultimative Freiheit bieten und ein solches System benötigt keinerlei Kabel.

Positional Tracking für Mobile VR durch Fingo

Wie uSens mitteilt, veröffentlicht der Tracking-Spezialist nun ein SDK und Development Kit eines neuen Systems mit dem Namen Fingo, welches an mobile Headsets und Headsets für den PC angebracht werden kann. Das System bietet 26-DOF (degrees of freedom) Handtracking und 6-DOF für das Positional Tracking. Das System wird in drei unterschiedlichen Varianten angeboten. Das Einstiegsmodell nutzt Marker für das Tracking, während die beiden anderen Modelle ein echtes Inside-Out Tracking ermöglichen, welches ohne Marker auskommt.

Die zwei Modelle ohne Marker unterscheiden sich in einem wichtigen Punkt. Das teuerste Modell mit dem Namen Power Fingo hat eigene Prozessoren und kann damit das Smartphone von zusätzlichen Aufgaben für das Tracking erlösen. Dies bietet die Color Fingo Version nicht. Was aber beide Versionen ermöglichen, ist ein Wechsel zwischen VR und AR. Und dies scheint relativ fließend zu funktionieren.

Im folgenden Video seht ihr eine Live Demo des Fingo Systems:

Wie im Video bei 2:20 zu sehen ist, könnt ihr ein Portal zur echten Welt durch eine einfach Geste schaffen und dieses dann auch durchschreiten. Wenn es funktioniert, wie in der Demo gezeigt, dann wäre es ein sehr nützliches Feature.

Auch wenn das Fingo noch nicht komplett öffentlich angeboten wird, könnt ihr euch über diese Webseite das SDK besorgen und eine Anfrage für ein Development Kit von Fingo stellen. Mit etwas Glück erhaltet ihr dann bald eines der Geräte.

Der Beitrag uSens: Positional Tracking für Mobile VR durch Fingo zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!