Projekt

Multimodale Interaktion in Virtueller Realität

Die technische Entwicklung im Bereich der Virtual Reality weist derzeit eine starke Dynamik auf. Der hohe Immersionsgrad dieser Technologie ermöglicht es, im Benutzer ein intensives Gefühl der Präsenz in der virtuellen Welt zu erzeugen. Es wird angenommen, dass kognitive Prozesse ein mentales Modell des eigenen Selbst in der virtuellen Welt kreieren, welches ein Gefühl des „in der virtuellen Welt sein“ erzeugt. Es ist jedoch aus kognitionswissenschaftlicher und lernpsychologischer Sicht unklar, in welcher Hinsicht diese Form der Immersion dem Benutzer in Wissenskontexten nützen kann. 

Auch die Interaktion in hoch immersiver Virtueller Realität stellt Anforderungen und bietet Möglichkeiten, die innovative Interfacedesigns notwendig machen können. So kann sich z.B. der Körper frei im Raum bewegen und entsprechend zur Interaktion eingesetzt werden. Diese Freiräume erweitern das Interaktionsspektrum z.B. gegenüber Touch-Interfaces erheblich. In der Applikationsentwicklung finden sich dazu vielfältige Realisierungsansätze, die aber lernpsychologisch und kognitionswissenschaftlich nur selten untersucht sind. Der Einsatz von Virtual Reality Technologie bietet somit interessante und neuartige Möglichkeiten im Hinblick auf die Gestaltung von Lernumgebungen und auf die unterstützende Informationsverarbeitung, indem die Barrieren zwischen dem Agierenden und dem Informationsgegenstand reduziert werden.

Es stellt sich aber die Frage, wie Interaktionsdesigns in dieser Umgebung gestaltet werden sollten, um Informationsverarbeitungsprozesse optimal zu unterstützen. Das folgende Beispiel soll diese Punkte verdeutlichen: Bisherige Untersuchungen mit affektiven Stimuli haben ergeben, dass bestimmte Interaktionen, z.B. das Bewegen von affektiven Bildern auf einem Touch-Display, die nachgelagerte Valenzbewertung dieser Bilder beeinflussen kann (z.B. Cervera Torres, Ruiz Fernández, Lachmair, & Gerjets, 2018; cf. Casasanto, 2009). In der virtuellen Realität sind demgegenüber aber noch viel ausladendere Interaktionsmuster möglich, z.B. das Öffnen der Arme, funktional verknüpft mit dem Zoomen von affektiven Bildern. So hat eine kürzlich durchgeführte eigene Studie ergeben, dass positive und negative Bilder positiver bzw. negativer bewertet wurden, wenn sie nach einer öffnenden Arm-Geste vergrößert wurden im Vergleich zu einer Verkleinerung nach einer schließenden Arm-Geste. Dies konnte jedoch nicht beobachtet werden, wenn die öffnende Arm-Geste funktional mit dem Verkleinern und die schließende Arm-Geste mit dem Vergrößern des Bildes verknüpft wurde (Lachmair, Ruiz Fernandez, Cervera Torres, & Gerjets, 2017). Dies zeigt, dass Interaktionen nicht beliebig gestaltet werden sollten. In weiteren Studien soll untersucht werden, wie sich die Interaktionen auch auf Lern- und Gedächtnisleistung der Probanden auswirken.

  • Lachmair, M., Ruiz Fernández, S., & Gerjets, P. (2018). Does Grammatical Number influence the semantic priming between number cues and words related to vertical space? An investigation using Virtual Reality. Frontiers in Psychology, 9:573. https://dx.doi.org/10.3389/fpsyg.2018.00573 
  • Lachmair, M., Ruiz Fernandez, S., Cervera Torres, S., & Gerjets, P. (2017, November). Zooming Emotions: The Role of Action and Presence. Invited talk at the Interdisciplinary Workshop Virtual Reality Research: Active Self and Presence. Universität Potsdam.

Teil der Arbeitsgruppe

Laufzeit

01/2018 - 12/2023

Förderung

IWM-Haushaltsmittel

Ihre Ansprechperson

Beteiligte

Publikationen (1)

  • Brucker, B., Pardi, G., Uehlin, F., Moosmann, L., Lachmair, M., Halfmann, M., & Gerjets, P. (2024). How learners’ visuospatial ability and different ways of changing the perspective influence learning about movements in desktop and immersive virtual reality environments. Educational Psychology Review, 36, Article 65. https://doi.org/10.1007/s10648-024-09895-w

    Open Access