Hasso-Plattner-Institut arbeitet an MR-Experimenten mit EMS

Im Hasso-Plattner-Institut in Potsdam arbeiten Wissenschaftler derzeit an einer Methode, um fühlbares Feedback von virtuellen Objekten durch elektrische Muskelstimulation (EMS) spürbar zu erzeugen. Dafür befestigen die Forscher Elektroden am Körper, die durch Stromimpulse die Muskeln der Versuchsperson stimulieren und dadurch eine realistische und immersive Simulation erzeugen.

MR-Experimente – Immersiv spürbares Feedback durch EMS

Bereits im letzten Jahr veröffentlichten die Forscher des Hasso-Plattner-Instituts ihre Arbeit über das VR-Projekt VR walls, das haptisches Feedback über elektrische Muskelstimulation erzeugte. Kürzlich veröffentlichten die Mitarbeiter ein Paper über ihre neuen Forschungsergebnisse im Bereich der MR-Experimente. Die Veröffentlichung beschreibt eine Methode, um spürbares sowie realistisches Feedback von virtuellen Objekten ganz ohne Controller zu erzeugen.

AR-Hasso-Plattner-Institut-Haptics-experiment

Dafür nutzen die Wissenschaftler eine HoloLens, einen Laptop mit Unity sowie ein kompaktes EMS-Gerät (Elektromyostimulation), das durch Stromimpulse über am Körper befestigte Elektroden die entsprechenden Muskelpartien in unterschiedlichen Situationen stimuliert. Die genutzte Software wird mit den Elektroden synchronisiert, um die Übertragung zu ermöglichen. Dabei werden Bizeps, Trizeps und Schultermuskulatur gereizt, was das Gefühl einer echten Interaktion erzeugt, ganz so, als wären die digitalen Objekte in physischer Form vorhanden.

In einem Video stellen die Forscher ihre Technologie beim Umstellen von virtuellen Möbeln vor:

Auch weitere Simulationen wie beispielsweise das Drücken eines Knopfes oder das Regulieren von Drehknöpfen sind dank der individuell konfigurierbaren Stärke des Stromes möglich. Leider besitzt das System noch einige Nachteile, so dürften die Muskelstimulationen schnell zu Ermüdungserscheinungen führen, da dies durchaus anstrengend auf den Körper wirkt. Zudem müssen die Elektroden aktuell noch präzise per Hand angesetzt und kalibriert werden, was äußerst zeitaufwendig ist.

Dennoch ist der Ansatz durchaus vielversprechend und könnte zukünftig als Grundlage für neue Peripherie-Hardware für den Bereich der Mixed Reality dienen.

(Quellen: Road to VR | Hasso-Plattner-Institut Paper | Video: Hasso-Plattner-Institut Youtube)

Der Beitrag Hasso-Plattner-Institut arbeitet an MR-Experimenten mit EMS zuerst gesehen auf VR∙Nerds. VR·Nerds am Werk!

Researchers Electrically Stimulate Muscles in Haptic Designed for Hands-free AR Input

Researchers at The Human Computer Interaction Lab at Hasso-Plattner-Institut in Potsdam, Germany, published a video recently showing a novel solution to the problem of wearable haptics for augmented reality. Using a lightweight, mobile electrical muscle stimulation (EMS) device that provides low-voltage to arm muscles, the idea is to let AR headset-users stay hands-free, but also be able to experience force-feedback when interacting with virtual objects, and feel extra forces when touching physical objects in their environment too.

Using a HoloLens headset, researchers show their proposed solution in action, which is made up of a backpack, a laptop computer running Unity, a battery-powered EMS machine, electrode pads, and visual markers to better track hand gestures. The researchers say their system “adds physical forces while keeping the users’ hands free to interact unencumbered.”

image courtesy Hasso-Plattner-Institut

Both HoloLens and the upcoming Magic Leap One include a physical controller; HoloLens has a simple ‘clicker’ and ML One has a 6DoF controller. While both systems admittedly incorporate gestural recognition, there’s still no established way for AR headset users to ‘feel’ the world around them.

According to the paper, which is being presented at this year’s ACM CHI Conference in Montréal, the EMS-based system actuates the user’s wrists, biceps, triceps and shoulder muscles with a low-voltage to simulate a sort of ‘virtual pressure’. This perceived pressure can be activated when you interact with virtual objects such as buttons, and even physical objects like real-world dials and levels to create an extra sense of force on the user’s arms.


There are some trade-offs when using this sort of system though, making it somewhat less practical for long-term use as it’s configured now. Two of the biggest drawbacks: it requires precise electrode placement and per-user calibration before each use, and it can also cause muscle fatigue, which would render it less useful and probably less comfortable.

But maybe a little muscle stimulation can go a long way. The paper discusses using EMS sparingly, playing on the user’s keen sense for plausibility while in a physical (and not virtual) environment.

“In the case of [augmented reality], we observed users remarking how they enjoyed nuanced aspects of the EMS-enabled physics, for instance: “I can feel the couch is harder to move when it is stopped [due to our EMS-based static friction]”. As a recommendation for UX designers working in MR, we suggest aligning the “haptic-physics” with the expected physics as much as possible rather than resorting to exaggerations.

It’s an interesting step that could prove effective in a multi-pronged approach to adding haptics to AR wearables, the users of which would want to stay hands-free when going about their daily lives. Actuator-based gloves and vests have been a low-hanging fruit so far, and are quickly becoming a standard go-to for VR haptics, but still seem too much of a stretch for daily AR use. Force-feedback exoskeletons, which stop physical movements, are much bulkier and are even more of a stretch currently.

There’s no telling what the prevailing AR wearable will be in the future, but whatever it is, it’s going to have to be both light and useful—two aspects EMS seems to nail fairly well out of the gate.

The post Researchers Electrically Stimulate Muscles in Haptic Designed for Hands-free AR Input appeared first on Road to VR.