Das seit zwei Jahren bestehende Labor widmet sich fünf konkreten Anwendungsfällen, sogenannten Use Cases: Es entstanden ein informativer, industrieller Gehörschutz, Information für PatientInnen, digitale Kunstformate für 3D-Bewegungserfassung und Konzepte für die Kommunikation im industriellen Internet of things sowie eine Potentialanalyse für fiktionale VR-Erfahrung.

Storytelling in Kunst, Wissenschaft und Industrie
"Storytelling, das Transportieren von Inhalten über Geschichten, ist in der Kunst seit jeher selbstverständlich. Nun nimmt es zunehmend Einzug in Wissenschaft und Wirtschaft. Als Technologie bieten Augmented und Virtual Reality nicht nur eine zukunftsträchtige Schnittstelle zwischen industrieller Anwendung und künstlerischer Forschung, sondern auch die Chance die Bandbreite des Storytellings neu zu denken", sagt Franziska Bruckner, Leiterin des Projekts sowie der Forschungsgruppe Media Creation an der FH St. Pölten.

Die fünf Anwendungsfälle entwickeln immersive Medientechnik für Medienkunst, Kreativindustrie, Audioindustrie, Industrie 4.0 und das digitale Gesundheitswesen.
Ein Überblick über die Projekte des Labors:

Kunst und Forschung verbinden
Das Projekt "Intermedia Motion Tracking in AR/VR" zeichnet mithilfe von Motion-Capturing- und Motion-Tracking-Techniken die Bewegungen einer Tänzerin auf und setzt sie in Bilder und Filme für Sozialen Medien um. Choreographierte Körperbewegungen, Gesten, Bewegungsabläufe und choreografische Muster werden festgelegt, digitalisiert und als Storytelling-Bewegungspfade analysiert. Das Projekt verbindet moderne Medientechnik, Kunst und Forschung und untersucht etwa das Verhältnis von Körper und Raum sowie Körperstellung, Elastizität, Geschwindigkeit und Rhythmik in der Choreografie und deren Umsetzung in künstlerisch-experimentelle, immersive Storytelling-Szenarien und Medienprojekte.

Gänsehaut: Immersion messbar machen
Der Use Case "Immersive Video Interaction" analysiert fiktionale Virtual-Reality-Kurzfilme aus der Unterhaltungsindustrie hinsichtlich ihrer Narrationsmodelle, Interaktionskonzepte und ihrem Immersionsgrad. Um das subjektive Empfinden des Eintauchens in die virtuelle Welt zu messen, sollen BetrachterInnen in Fragebögen ihr Gefühl der Präsenz im virtuellen Erlebnis beschreiben.
Das Projektteam wird aber auch objektiv messbare Kriterien einsetzen: Über den elektrischen Widerstand auf der Haut, die Herzfrequenz, Elektroenzephalogramme und die elektrische Aktivität der Gesichtsmuskel soll erfasst werden, wie die Filme auf die BetrachterInnen wirken. Die aufgrund der Corona-Pandemie verschobenen Usertests werden voraussichtlich unter strengsten hygienischen Sicherheitsmaßnahmen Ende des Jahrs oder im nächsten Jahr stattfinden.

Die Angst vor der OP nehmen: Patienteninformation mit Augmented Reality
Der Use Case Enlightening Patients with Augmented Reality (EPAR) testet die Möglichkeiten von Augmented Reality, um die Aufklärung von Patient*innen zu verbessern. Für diesen Zweck wurde ein Prototyp für eine mobile App zum Thema Schieloperation entwickelt und getestet. Im eigenen Tempo und mit zusätzlichen Informationen, für die Ärzt*innen oft keine Zeit finden, können Patient*innen, die sich für eine Operation interessieren, aufgeklärt werden.

Informativer Gehörschutz für IndustriemitarbeiterInnen
Im Use Case "Auditory Augmented Reality in Production" entwickeln ForscherInnen und Studierende der FH St. Pölten den in vielen Fertigungsstätten vorgeschriebene Gehörschutz zu einer akustischen Informationsschnittstelle und zum Assistenzsystem weiter. Akustisch dargestellt werden in (Quasi-)Echtzeit aufbereitete Maschinen- und Umgebungsgeräusche, die prozessrelevante Abweichungen vom Normalzustand besser wahrnehmbar machen.
Das System liefert zur Zustandsüberwachung aufbereitete produktionstechnisch relevante maschinen- und produktionsbezogene Daten und Kennzahlen. Zudem soll der Gehörschutz als Kopfhörer den MitarbeiterInnen zur verbalen (drahtlosen) Kommunikation dienen. (Data) Storytelling versteht sich hier als situationsspezifische Aufbereitung und Darstellung von Geräuschen und Daten mit hohem Informationsgehalt für die FacharbeiterInnen.

Visuelle Daten für den Störfall an der Maschine
Als jüngstes Projekt begannen in diesem Jahr die Arbeiten zum Use Case "Augmented Reality for the Industrial Internet of Things". Das Projektteam untersucht in Kooperation mit der niederösterreichischen Firma Neumann Aluminium den Einsatz von Augmented-Reality-Technologien in einem modernen, industriellen Produktionsumfeld zur Unterstützung von MitarbeiterInnen bei Arbeits- und Wartungsprozessen.
Über eine Microsoft Hololens erhalten MitarbeiterInnen bei Störfällen schnell und direkt Einsicht in Maschinendaten, wo in der Fabrik normalerweise kein Display vorhanden ist und haben durch die Hololens die Hände frei zum Arbeiten.