Page 31 - IWM_Jahresbericht_2019

FB INDIVIDUELLE NUTZUNG VON WISSENSMEDIEN | AG MULTIMODALE INTERAKTION 31

Multimodale Interaktion kann über Hand-
und Fingerbewegungen hinaus auch groß-
flächige Bewegungen im Raum beinhalten,
etwa, wenn man sich in virtuellen Reali-
täten bewegt. Zuletzt wurde auch unter-
sucht, wie derartige Körperbewegungen im
Raum mit der emotionalen Bewertung von
Situationen zusammenhängen.

fische Effekte der psychologischen Kurse individuell positive, neutrale oder nega- daler Daten vorzunehmen. Mit maschinel-
auf sozial-emotionale Kompetenzen wie tive Bedeutung hatten. Die Studierenden len Lernmethoden wird dabei versucht,
z. B. die schnelle und korrekte Erkennung wurden gebeten, die Ereignisse frei auf kognitive Belastungsmessungen zu opti-
emotionaler Gesichtsausdrücke oder die einer Bewegungsmatte zu verorten. Die mieren. Für eine Studie, die 2019 in den
Differenziertheit von Beschreibungen der Ergebnisse zeigten erwartungsgemäß, Proceedings der International Conference
eigenen Person. Zentrale Ergebnisse des dass positive Momente im eigenen Leben on Multimodal Interaction publiziert wurde,
im Berichtsjahr endenden Projekts wur- eher vorne beziehungsweise rechts veror- absolvierten rund 50 Personen verschie-
den auf einer Abschlusstagung in Berlin tet werden, negative dagegen eher hinten dene Szenarien eines Notfall-Simulati-
präsentiert und in einem Sammelband beziehungsweise links. onsspiels, welche sich in ihrer Schwierig-
zur kulturellen Bildung veröffentlicht. keitsstufe und damit kognitiven Belastung
Maschinelle Lernalgorithmen zur unterschieden. Auf Interaktionsmaßen,
Was Körperbewegungen im Raum über multimodalen Analyse kognitiver Pupillenerweiterung, Fixationsverhalten
emotionale Bewertungen verraten Belastungen und Herzfrequenzdaten konnten maschi-
können In Kooperation mit Daimler Trucks & nelle Lernmodelle trainiert werden, die
Multimodale Interaktion kann über Buses, dem Fachbereich Informatik der mit einer Klassifikationsgenauigkeit von
Hand- und Fingerbewegungen hinaus Universität Tübingen sowie der IWM- über 70 % angewendet werden konnten,
auch großflächige Bewegungen im Raum Nachwuchsgruppe Neuro-kognitive Plastizi- um für andere Spielerinnen und Spieler
beinhalten, z. B. wenn man sich in virtu- tät untersucht die Arbeitsgruppe seit 2018 Szenarien mit niedriger und hoher kogni-
ellen Realitäten in einer dreidimensiona- Möglichkeiten, eine automatische Analyse tiver Belastung zu unterscheiden.
len simulierten Welt bewegt. Im Projekt kognitiver Belastungen anhand multimo-
„Multimodale Interaktion in virtueller
Realität“ wird untersucht, wie derartige
Körperbewegungen im Raum mit der
emotionalen Bewertung von Situationen AUSGEWÄHLTE PUBLIKATIONEN
zusammenhängen. Studien zu soge-
nannten Raum-Valenz-Assoziationen aus de Koning, B. B., Marcus, N., Brucker, B., & Ayres, P. (2019). Does observing
dem Forschungsfeld „Embodied Cogni- hand actions in animations and static graphics differentially affect learning of
tion“ legen z. B. nahe, dass positive und hand-manipulative tasks? Computers & Education, 141, Article 103636.
negative Emotionen mit verschiedenen Kammerer, Y., Keck, D., & Starauschek, E. (2019). Effects of a short classroom
Raumachsen assoziiert werden. Derar- intervention on students’ identification of contradictions in an Internet forum
tige Assoziationen von z. B. „rechts“ mit text: Interaction with reading comprehension skills. Computers & Education,138,
„positiv“ und „links“ mit „negativ“ bildeten 46-56.
die Grundlage für eine 2019 publizierte Ruiz Fernández, S., Kastner, L., Cervera-Torres, S., Müller, J., & Gerjets, P.
Studie der Arbeitsgruppe zu Ganzkör- (2019). Moved by emotions: Processing affective concepts representing personal
peraktionen, in der rund 70 Studierende life events lead to freely performed steps in line with space-valence associations.
mit zuvor erfassten persönlichen Lebens- Frontiers in Psychology, 10:2787.
ereignissen konfrontiert wurden, die eine