• Presse
  • Kontakt
  • deutsch | english
Multimodale Interaktion

Digitale Medien erweitern zum einen das Angebot an Darstellungsformaten für Informationsangebote, ermöglichen Nutzern zum anderen aber oft auch, selber mit diesen Darstellungsformaten zu interagieren, beispielsweise durch Hyperlinks, Menüoptionen oder andere Steuerelemente. Die Rolle derartiger Interaktionsangebote für wissensbezogene Nutzungs- und Verarbeitungsprozesse steht im Zentrum des Interesses der Arbeitsgruppe. Ein Themenschwerpunkt ist dabei die Wirkung dieser Interaktionsmöglichkeiten auf Verstehensprozesse unter kognitiver Ressourcenbeschränkung wie z. B. begrenzter Arbeitsgedächtniskapazität. Die Arbeitsgruppe untersucht dabei nicht nur klassische Interaktionsmöglichkeiten mit Tastatur und Maus, sondern fokussiert zunehmend auf sogenannte multimodale Interaktionsprozesse, bei denen das Interaktionsgeschehen unterschiedlichste sensorische und motorische Modalitäten umfasst. Hier hat sich, durch technische Entwicklungen in den letzten Jahren, eine Vielzahl neuer Umgangsformen mit digitalen Informationsangeboten etabliert. Beispiele reichen von Ein- und Mehrfingergesten auf interaktiven Displays über dreidimensionale Interaktionsformen mit Hilfe von Gesten oder Interaktionsobjekten (embodied / tangible interaction) bis hin zur Sprach- und Blicksteuerung oder direkten Hirn-Maschine-Schnittstellen (Brain-Computer Interfaces). Viele dieser Interaktionsformen haben das Potenzial, kognitive, senso-motorische und technische Informationsverarbeitungsprozesse enger miteinander zu verzahnen, weil sie auf der Aufzeichnung und Interpretation des körperlichen Nutzerverhaltens mit Hilfe vielfältiger Sensoren beruhen (z. B. mit Touch- oder Lagesensoren). Diese multimodalen Interaktionsformen werden in der Arbeitsgruppe aufgegriffen.


Ein multimodaler Zugang spielt in der Arbeitsgruppe, aber auch bei der Untersuchung klassischer Interaktionsangebote eine Rolle, etwa wenn es um die Auswahl von Suchergebnissen im World Wide Web (WWW) geht. Zumeist werden für solche Interaktionsformen multimodale Analysemethoden verwendet, beispielsweise Blickbewegungserfassungen, physiologische Daten oder retrospektive Verbalisierungen, um einen umfassenderen Einblick in die Rolle von Interaktionsprozessen für die kognitive Verarbeitung zu erhalten. Die Arbeitsgruppe gliedert sich in zwei Forschungslinien: In der Forschungslinie Multiple Informationsquellen stehen multimodale Analysen der Interaktion mit konfligierenden oder sich ergänzenden Informationsangeboten im Vordergrund. Die Forschungslinie Multimodale Interaktion erforscht vor allem Touch- bzw. Gesten-Interaktionen und Interaktionen mit Hilfe physiologischer Sensoren (z. B. Hirn-Maschine-Schnittstellen).

Team Multimodale Interaktion

Projekte

Der Einfluss des Near-Hand-Effekts auf kognitive und emotionale Verarbeitungsprozesse bei der Nutzung von Multi-Touch-Oberflächen

Der Einsatz interaktiver Multi-Touch-Oberflächen nimmt kontinuierlich zu. Daher sind manuell bedienbare Benutzeroberflächen, wie Multi-Touch-Tische, Tablets oder Smartphones, heutzutage in vielen öffentlichen Einrichtungen und Privathaushalten zu finden. Diese Benutzeroberflächen ermöglichen eine direkte Manipulation externer Repräsentationen, ohne dass zusätzliche Eingabegeräte (z.B. Maus) benötigt werden. Daher stellt sich die Frage, wie manuelle Interaktionen gestaltet werden sollten, um Informationsverarbeitungsprozesse zu unterstützen.

Der Einfluss von Nutzer- und Texteigenschaften auf Quellenbewertungen bei der Websuche

Das WWW zeichnet sich durch eine hohe Informationsfülle und durch eine heterogene Informationsqualität aus. Für eine erfolgreiche Webrecherche zu konfligierenden wissenschaftsbezogenen Themen ist es daher oftmals erforderlich, die Informationsquellen und darin enthaltenen Informationen hinsichtlich ihrer Vertrauenswürdigkeit zu bewerten und (potenziell konfligierende) Informationen aus verschiedenen Quellen zu vergleichen und abzuwägen. Das Projekt beschäftigt sich insbesondere damit, wie spezifische Nutzereigenschaften sowie bestimmte Texteigenschaften Bewertungsprozesse bei der Informationsrecherche im Web beeinflussen können.

Digitale Selbstporträts zeichnen im Kunstmuseum: Welche rezeptiven und produktiven Prozesse vermitteln soziale Transfereffekte auf Empathie und Selbstwahrnehmung von Jugendlichen?

Was kann man durch das Zeichnen von Selbstporträts im Museum lernen? Vermitteln Selbstporträts noch etwas anderes als Wissen über Zeichenstile und Epochenmerkmale? Das Projekt DigiSelbst untersucht die Auswirkungen der Auseinandersetzung mit Bildender Kunst (speziell Selbstporträts) im Kunstmuseum sowie die Nutzung digitaler Medien zur Gestaltung kultureller Bildungsangebote.

EEG-basierte neuronale Signaturen differenzieller Arbeitsgedächtnisbelastungen

Die Forschung im Projekt verknüpft die Disziplinen Neuro- und Instruktionspsychologie und Informatik. Ziel ist es, die Methoden der Brain-Computer Interface (BCI) Technologien für Forschung im instruktionspsychologischen Kontext nutzbar zu machen (z.B. individuelle Klassifikation von Arbeitsgedächtnisbelastung in Echtzeit). Als langfristiges Ziel soll die Entwicklung einer adaptiven Lernumgebung ausgelotet werden, die mit BCI-Methoden unterschiedliche Signaturen kognitiver Prozesse im Lernprozess nachweist und online angemessen darauf reagiert.

Entwicklung innovativer Interaktionsformen für Multi-Touch-Tische

Dieses interdisziplinäre Projekt Projekt hat die Konzeption, Implementation und Optimierung eines innovativen Multimedia-Guides für Museen und Ausstellungen (EyeVisit) zum Gegenstand. Das Hauptkonzept ist es für die Präsentation digitaler Informationen interaktive Displays zu nutzen. Entsprechend der Interaktion mit realen Objekten erlaubt EyeVisit die Manipulation über intuitive Gesten für das Bewegen, Rotieren und Skalieren digitaler visueller Informationen.

Interaktiver Visitetisch – Ein kognitives Interface für die Integration multipler Dokumente in medizinischen Team-Besprechungen

Mediziner nutzen bei der täglichen Visite zahlreiche Dokumente über den Patienten, um ihn oder sie bestmöglich zu behandeln. Dabei werden sie von medizinischen Informationssystemen unterstützt, die allerdings nicht dafür optimiert sind, verschiedene Informationsquellen in ein stimmiges Gesamtbild zu integrieren. Ziel des Projektes ist deshalb die Entwicklung und Implementierung eines neuen kognitiven Interface, das Ärztinnen und Ärzte in ihren kognitiven Prozessen beim Lesen, Bewerten und Integrieren multipler Dokumente bei der Visite unterstützt.

Multimodale Interaktion in Virtueller Realität

Die technische Entwicklung im Bereich der Virtual Reality weist derzeit eine starke Dynamik auf. Der hohe Immersionsgrad dieser Technologie ermöglicht es, im Benutzer ein intensives Gefühl der Präsenz in der virtuellen Welt zu erzeugen. Es wird angenommen, dass kognitive Prozesse ein mentales Modell des eigenen Selbst in der virtuellen Welt kreieren, welches ein Gefühl des „in der virtuellen Welt sein“ erzeugt. Es ist jedoch aus kognitionswissenschaftlicher und lernpsychologischer Sicht unklar, in welcher Hinsicht diese Form der Immersion dem Benutzer in Wissenskontexten nützen kann. Auch die Interaktion in hoch immersiver Virtueller Realität stellt Anforderungen und bietet Möglichkeiten, die innovative Interfacedesigns notwendig machen können. So kann sich z.B. der Körper frei im Raum bewegen und entsprechend zur Interaktion eingesetzt werden. Diese Freiräume erweitern das Interaktionsspektrum z.B. gegenüber Touch-Interfaces erheblich. In der Applikationsentwicklung finden sich dazu vielfältige Realisierungsansätze, die aber lernpsychologisch und kognitionswissenschaftlich nur selten untersucht sind. Der Einsatz von Virtual Reality Technologie bietet somit interessante und neuartige Möglichkeiten im Hinblick auf die Gestaltung von Lernumgebungen und auf die unterstützende Informationsverarbeitung, indem die Barrieren zwischen dem Agierenden und dem Informationsgegenstand reduziert werden.

Potentiale neurophysiologischer Maße für Forschung zum Instruktionsdesign am Beispiel dekorativer Bilder

Das Projekt untersucht anhand (neuro-)physiologischer Maße (Hirnstrommessung [EEG], Blickbewegungsmessung [Eye-Tracking] und Pupillometrie) die Auswirkungen dekorativer Bilder auf kognitive (z.B. Arbeitsgedächtnis, Aufmerksamkeit) und emotional-motivationale Prozesse während des Wissenserwerbs mit Texten. Dekorative Bilder werden oft bei der Gestaltung von Instruktionsmaterialien eingesetzt, um das Interesse der Lernenden am Thema zu wecken und wirken dabei als sogenannte verführerische Details (seductive details). Bisherige Forschung zeigt ein uneinheitliches Bild der Auswirkung des Einsatzes dekorativer Bilder auf den Lernerfolg, von förderlich bis hinderlich. Als mögliche Ursachen für reduzierten Lernerfolg werden Faktoren wie erhöhte kognitive Belastung oder Aufmerksamkeitsablenkung vermutet. 

Rezeption des wissenschaftlichen und öffentlichen Diskurses zum Thema Nanosicherheit im Internet

Die Nanotechnologie gilt als eine der Schlüsseltechnologien des 21. Jahrhunderts. Eine generelle Aussage über den Einfluss von Nanomaterialien auf Mensch und Umwelt ist derzeit allerdings noch nicht möglich. Im Rahmen des Leibniz-Forschungsverbunds „Nanosicherheit“ wird daher in diesem Projekt untersucht, wie Laien und Experten mit den konfligierenden wissenschaftlichen Informationen zu dieser Thematik umgehen und Entscheidungen auf Grundlage dieser Informationen treffen. Diese Fragestellung wird vor dem Hintergrund wissensbezogener Internetnutzung erforscht.

Unterstützung von Bewertungsprozessen bei der Informationsrecherche im Web

Das WWW bietet einen leichten und schnellen Zugang zu enormen Informationsmengen – von allerdings recht unterschiedlicher Qualität. Frühere empirische Studien haben jedoch gezeigt, dass sowohl Schülerinnen und Schüler als auch Erwachsene bei der Websuche spontan eher selten darauf achten und kritisch bewerten, woher die Informationen stammen. Dieses Projekt untersucht daher verschiedene Ansätze, wie Webnutzer bei der Informationsbewertung und -auswahl unterstützt werden können.

Verarbeitung von dynamischen Visualisierungen mit Hilfe von Spiegelneuronen

Dieses Projekt befasst sich mit der Idee, dass eine Aktivierung bestimmter Areale im Gehirn das Lernen über kontinuierliche Prozesse mit dynamischen Visualisierungen fördert. Die entsprechenden Areale im Gehirn (das sogenannte menschliche Spiegelneuronensystem) werden dazu genutzt, Aktionen anderer Personen zu verstehen und zu imitieren. Es wird untersucht, ob Gesten, die den zu lernenden Prozessen entsprechen oder nicht-entsprechen, das Spiegelneuronensystem aktivieren und den Lernerfolg verbessern.

Abgeschlossene Projekte

Abschlussarbeiten

(Neuro-)physiologische Maße in der Instruktionspsychologie

In der instruktionspsychologischen Forschung wurde die  letzten Jahre zunehmend die Frage nach geeigneten Prozessmaßen aufgeworfen, um die kognitiven Prozesse während des Wissenserwerbs mit digitalen Medien zu untersuchen. Die Hirnstrommessung (EEG), Blickbewegungsmessung (Eye-Tracking), Pupillometrie (Größe der Pupille), aber auch Herzratenvariabilität und Hautleitfähigkeit wurden als mögliche Maße diskutiert. In der Arbeitsgruppe werden vor allem EEG und Eye-Tracking genutzt, um kognitive Prozesse (wie z.B. Arbeitsgedächtnisbelastung) beim Lernen mit/in unterschiedlichen digitalen Umgebungen (z.B. Hypertext, Multimedia, virtuelle Realität) zu untersuchen. Methodisch interessierte Studierende können zu einer selbst gewählten oder aus der Forschung der Arbeitsgruppe abgeleiteten Fragestellung und der Wahl einer geeigneten physiologischen Messmethode Bachelor/Masterarbeiten anfertigen.  
Methode: Experimentalstudien mit (neuro-) physiologischen Maßen
Ihr Ansprechpartner ist: Herr Dr. Christian Scharinger


Der Einfluss von Hyperlinks auf das Textverständnis beim Lesen von Wikipedia-Artikeln

Online-Artikel (z.B. in Wikipedia) enthalten oftmals eine beträchtliche Anzahl an Hyperlinks zu weiterführenden Informationen. Wie beeinflussen das Vorhandensein solcher Links und deren Selektion das Textverständnis beim Lesen von Wikipedia(-artigen) Artikeln? Sind die Links ablenkend? Oder führt die Auswahl relevanter Links zu einem tieferen Textverständnis?

Methode: Experimentalstudien mit Blickbewegungsmessung

Ihre Ansprechpartnerin ist: Frau Dr. Yvonne Kammerer

Wie kann das Spiegelneuronensystem aktiviert werden und ist diese Aktivierung hilfreich für das Lernen über nicht-menschliche Bewegungen?

Dynamische Visualisierungen können besonders hilfreich sein, wenn Lernende sich die dargestellten Bewegungen mit Hilfe des eigenen Körpers vorstellen. Dies kann erreicht werden indem sogenannte Spiegelneurone durch menschliche Gesten aktiviert werden. Dabei stellt sich die Frage, ob es reicht, wenn Lernende die menschlichen Gesten gezeigt bekommen oder ob sie diese selbst ausführen müssen. Zusätzlich können diese Befunde in verschiedenen Lerndomänen und –inhalten überprüft werden.

Methode: Experimentalstudie mit Messung der Gehirnaktivierung (fNIRS)

Ihre Ansprechpartnerin ist: Frau Dr. Birgit Brucker

Interaktive Displays und embodied cognition

Interaktive Displays verwenden eine intuitive und niederschwellige Gestensteuerung zur Interaktion mit Informationseinheiten sowie zur Aktivierung von Informationsverknüpfungen (z.B. iPhones oder Multi-Touch Tabletop-Systemen). Wie wird die kognitive Repräsentation einer konzeptuellen oder räumlichen Struktur durch die Darbietung auf einem interaktiven Display beeinflusst, mit dem der Nutzer direkt physikalisch durch Gesten oder Tangible Objects interagieren kann?

Methode: Experimentalstudie, die auf grundlagen- oder anwendungsbezogenem Material beruhen kann

Ihr Ansprechpartner ist: Herr Prof. Dr. Peter Gerjets

Können dynamische Visualisierungen, die gleichzeitig dargeboten werden, das Lernen unterstützen?

Auf größeren interaktiven Oberflächen (wie z.B. Multitouch-Tischen) können leicht mehrere dynamische Visualisierungen gleichzeitig abgespielt werden. Können Lernende mit diesem Format (multiple Animationen) Zusammenhänge leichter erkennen oder lenken multiple Animationen die Lernenden eher ab, da die Aufmerksamkeit auf unterschiedliche Visualisierungen verteilt werden müssen?

Methode: Experimentalstudie am Multitouch-Tisch

Ihre Ansprechpartnerin ist: Frau Dr. Birgit Brucker

Entdeckung von Inkonsistenzen und Vertrauenswürdigkeitsbewertungen bei der Rezeption von Informationen im Internet

Informationen im Internet können widersprüchliche oder fehlerhafte Informationen enthalten. Bemerken Internetnutzer Inkonsistenzen innerhalb einer Webseite? Und welche Rolle spielt dabei die Art der Webseite (z.B. Forum oder Uni-Seite)? Bemerken Internetnutzer Inkonsistenzen zwischen mehreren Webseiten? Und welchen Einfluss hat dies auf die Bewertung der Vertrauenswürdigkeit der sich widersprechenden Webseiten?

Methode: Experimentalstudien mit Blickbewegungsmessung

Ihre Ansprechpartnerin ist: Frau Dr. Yvonne Kammerer

Hilft direktes Interagieren beim Lernen?

Interaktive Oberflächen (wie z.B. Smartphones, Tablets, Multitouch-Tische) erlauben dem Lerner eine direkte intuitive Interaktion mit den dargestellten Objekten und Inhalten. Ist diese direkte haptische Interaktion (embodied interaction) hilfreich für das Lernen? Mögliche Themen sind Vergleiche mit Standard-GUIs; Variationen der räumlichen und zeitlichen Aspekte der Interaktion oder der Ausrichtung der Präsentationsfläche (Tisch vs. Wand).

Methode: Experimentalstudie mit interaktiven Geräten; Usabilitystudien

Ihre Ansprechpartnerin ist: Frau Dr. Birgit Brucker