• Presse
  • Kontakt
  • deutsch | english
Multimodale Interaktion

Digitale Medien erweitern zum einen das Angebot an Darstellungsformaten für Informationsangebote, ermöglichen Nutzern zum anderen aber oft auch, selber mit diesen Darstellungsformaten zu interagieren, beispielsweise durch Hyperlinks, Menüoptionen oder andere Steuerelemente. Die Rolle derartiger Interaktionsangebote für wissensbezogene Nutzungs- und Verarbeitungsprozesse steht im Zentrum des Interesses der Arbeitsgruppe. Ein Themenschwerpunkt ist dabei die Wirkung dieser Interaktionsmöglichkeiten auf Verstehensprozesse unter kognitiver Ressourcenbeschränkung wie z. B. begrenzter Arbeitsgedächtniskapazität. Die Arbeitsgruppe untersucht dabei nicht nur klassische Interaktionsmöglichkeiten mit Tastatur und Maus, sondern fokussiert zunehmend auf sogenannte multimodale Interaktionsprozesse, bei denen das Interaktionsgeschehen unterschiedlichste sensorische und motorische Modalitäten umfasst. Hier hat sich, durch technische Entwicklungen in den letzten Jahren, eine Vielzahl neuer Umgangsformen mit digitalen Informationsangeboten etabliert. Beispiele reichen von Ein- und Mehrfingergesten auf interaktiven Displays über dreidimensionale Interaktionsformen mit Hilfe von Gesten oder Interaktionsobjekten (embodied / tangible interaction) bis hin zur Sprach- und Blicksteuerung oder direkten Hirn-Maschine-Schnittstellen (Brain-Computer Interfaces). Viele dieser Interaktionsformen haben das Potenzial, kognitive, senso-motorische und technische Informationsverarbeitungsprozesse enger miteinander zu verzahnen, weil sie auf der Aufzeichnung und Interpretation des körperlichen Nutzerverhaltens mit Hilfe vielfältiger Sensoren beruhen (z. B. mit Touch- oder Lagesensoren). Diese multimodalen Interaktionsformen werden in der Arbeitsgruppe aufgegriffen.


Ein multimodaler Zugang spielt in der Arbeitsgruppe, aber auch bei der Untersuchung klassischer Interaktionsangebote eine Rolle, etwa wenn es um die Auswahl von Suchergebnissen im World Wide Web (WWW) geht. Zumeist werden für solche Interaktionsformen multimodale Analysemethoden verwendet, beispielsweise Blickbewegungserfassungen, physiologische Daten oder retrospektive Verbalisierungen, um einen umfassenderen Einblick in die Rolle von Interaktionsprozessen für die kognitive Verarbeitung zu erhalten. Die Arbeitsgruppe gliedert sich in zwei Forschungslinien: In der Forschungslinie Multiple Informationsquellen stehen multimodale Analysen der Interaktion mit konfligierenden oder sich ergänzenden Informationsangeboten im Vordergrund. Die Forschungslinie Multimodale Interaktion erforscht vor allem Touch- bzw. Gesten-Interaktionen und Interaktionen mit Hilfe physiologischer Sensoren (z. B. Hirn-Maschine-Schnittstellen).

Team Multimodale Interaktion

Projekte

Der Einfluss des Near-Hand-Effekts auf kognitive und emotionale Verarbeitungsprozesse bei der Nutzung von Multi-Touch-Oberflächen

Der Einsatz interaktiver Multi-Touch-Oberflächen nimmt kontinuierlich zu. Daher sind manuell bedienbare Benutzeroberflächen, wie Multi-Touch-Tische, Tablets oder Smartphones, heutzutage in vielen öffentlichen Einrichtungen und Privathaushalten zu finden. Diese Benutzeroberflächen ermöglichen eine direkte Manipulation externer Repräsentationen, ohne dass zusätzliche Eingabegeräte (z.B. Maus) benötigt werden. Daher stellt sich die Frage, wie manuelle Interaktionen gestaltet werden sollten, um Informationsverarbeitungsprozesse zu unterstützen.

Der Einfluss von Nutzer- und Texteigenschaften auf Quellenbewertungen bei der Websuche

Das WWW zeichnet sich durch eine hohe Informationsfülle und durch eine heterogene Informationsqualität aus. Für eine erfolgreiche Webrecherche zu konfligierenden wissenschaftsbezogenen Themen ist es daher oftmals erforderlich, die Informationsquellen und darin enthaltenen Informationen hinsichtlich ihrer Vertrauenswürdigkeit zu bewerten und (potenziell konfligierende) Informationen aus verschiedenen Quellen zu vergleichen und abzuwägen. Das Projekt beschäftigt sich insbesondere damit, wie spezifische Nutzereigenschaften sowie bestimmte Texteigenschaften Bewertungsprozesse bei der Informationsrecherche im Web beeinflussen können.

Digitale Selbstporträts zeichnen im Kunstmuseum: Welche rezeptiven und produktiven Prozesse vermitteln soziale Transfereffekte auf Empathie und Selbstwahrnehmung von Jugendlichen?

Was kann man durch das Zeichnen von Selbstporträts im Museum lernen? Vermitteln Selbstporträts noch etwas anderes als Wissen über Zeichenstile und Epochenmerkmale?
Das Projekt DigiSelbst untersucht die Auswirkungen der Auseinandersetzung mit Bildender Kunst (speziell Selbstporträts) im Kunstmuseum sowie die Nutzung digitaler Medien zur Gestaltung kultureller Bildungsangebote.

Innerhalb des Projekts werden in interdisziplinärer Zusammenarbeit des IWM mit dem Herzog Anton Ulrich-Museum in Braunschweig drei Kursangebote für die gymnasiale Oberstufe theoriebasiert entwickelt und experimentell untersucht, ob sich der Kursinhalt nachweisbar auf soziale Fertigkeiten wie Empathie und Selbstwahrnehmung von Jugendlichen auswirkt. Entwickelt werden (1) ein Emotionskurs, wobei der Fokus auf der Wahrnehmung und Interpretation eigener und fremder Emotionen anhand mimischer Hinweisreize liegt, (2) ein Selbstbildkurs, wobei der Fokus auf dem differenzierten Zugang zu Merkmalen der eigenen Person im Kontext verschiedener sozialer Rollen liegt, (3) ein Epochenkurs, wobei der Fokus auf der Vermittlung von epochalem Wissen, bspw. Haarschmuck oder Kleidungsstil im Barock, liegt. Es soll evaluiert werden, ob insbesondere der Emotions- und Selbstbildkurs sich zur Förderung sozialer Fertigkeiten eigenen.

EEG-basierte neuronale Signaturen differenzieller Arbeitsgedächtnisbelastungen

Das Projekt ist Teil von Cluster01 im WissenschaftCampus Tübingen "Bildung in Informationsumwelten". Die Forschung in diesem Cluster verknüpft die Disziplinen Neuro- und Instruktionspsychologie und Informatik. Ziel ist es, die Entwicklung einer adaptiven Lernumgebung auszuloten, die mit Methoden der Brain-Computer Interface (BCI) Technologien unterschiedliche Arten von Arbeitsgedächtnisbelastung im Lernprozess nachweist und online angemessen darauf reagiert.

Entwicklung innovativer Interaktionsformen für Multi-Touch-Tische

Dieses interdisziplinäre Projekt Projekt hat die Konzeption, Implementation und Optimierung eines innovativen Multimedia-Guides für Museen und Ausstellungen (EyeVisit) zum Gegenstand. Das Hauptkonzept ist es für die Präsentation digitaler Informationen interaktive Displays zu nutzen. Entsprechend der Interaktion mit realen Objekten erlaubt EyeVisit die Manipulation über intuitive Gesten für das Bewegen, Rotieren und Skalieren digitaler visueller Informationen.

Interaktiver Visitetisch – Ein kognitives Interface für die Integration multipler Dokumente in medizinischen Team-Besprechungen

Mediziner nutzen bei der täglichen Visite zahlreiche Dokumente über den Patienten, um ihn oder sie bestmöglich zu behandeln. Dabei werden sie von medizinischen Informationssystemen unterstützt, die allerdings nicht dafür optimiert sind, verschiedene Informationsquellen in ein stimmiges Gesamtbild zu integrieren. Ziel des Projektes ist deshalb die Entwicklung und Implementierung eines neuen kognitiven Interface, das Ärztinnen und Ärzte in ihren kognitiven Prozessen beim Lesen, Bewerten und Integrieren multipler Dokumente bei der Visite unterstützt.

Rezeption des wissenschaftlichen und öffentlichen Diskurses zum Thema Nanosicherheit im Internet

Die Nanotechnologie gilt als eine der Schlüsseltechnologien des 21. Jahrhunderts. Eine generelle Aussage über den Einfluss von Nanomaterialien auf Mensch und Umwelt ist derzeit allerdings noch nicht möglich. Im Rahmen des Leibniz-Forschungsverbunds „Nanosicherheit“ wird daher in diesem Projekt untersucht, wie Laien und Experten mit den konfligierenden wissenschaftlichen Informationen zu dieser Thematik umgehen und Entscheidungen auf Grundlage dieser Informationen treffen. Diese Fragestellung wird vor dem Hintergrund wissensbezogener Internetnutzung erforscht.

Unterstützung von Bewertungsprozessen bei der Informationsrecherche im Web

Das WWW bietet einen leichten und schnellen Zugang zu enormen Informationsmengen – von allerdings recht unterschiedlicher Qualität. Frühere empirische Studien haben jedoch gezeigt, dass sowohl Schülerinnen und Schüler als auch Erwachsene bei der Websuche spontan eher selten darauf achten und kritisch bewerten, woher die Informationen stammen. Dieses Projekt untersucht daher verschiedene Ansätze, wie Webnutzer bei der Informationsbewertung und -auswahl unterstützt werden können.

Verarbeitung von dynamischen Visualisierungen mit Hilfe von Spiegelneuronen

Dieses Projekt befasst sich mit der Idee, dass eine Aktivierung bestimmter Areale im Gehirn das Lernen über kontinuierliche Prozesse mit dynamischen Visualisierungen fördert. Die entsprechenden Areale im Gehirn (das sogenannte menschliche Spiegelneuronensystem) werden dazu genutzt, Aktionen anderer Personen zu verstehen und zu imitieren. Es wird untersucht, ob Gesten, die den zu lernenden Prozessen entsprechen oder nicht-entsprechen, das Spiegelneuronensystem aktivieren und den Lernerfolg verbessern.

Abgeschlossene Projekte

Abschlussarbeiten

Der Einfluss von Hyperlinks auf das Textverständnis beim Lesen von Wikipedia-Artikeln

Online-Artikel (z.B. in Wikipedia) enthalten oftmals eine beträchtliche Anzahl an Hyperlinks zu weiterführenden Informationen. Wie beeinflussen das Vorhandensein solcher Links und deren Selektion das Textverständnis beim Lesen von Wikipedia(-artigen) Artikeln? Sind die Links ablenkend? Oder führt die Auswahl relevanter Links zu einem tieferen Textverständnis?

Methode: Experimentalstudien mit Blickbewegungsmessung

Ihre Ansprechpartnerin ist: Frau Dr. Yvonne Kammerer

Wie kann das Spiegelneuronensystem aktiviert werden und ist diese Aktivierung hilfreich für das Lernen über nicht-menschliche Bewegungen?

Dynamische Visualisierungen können besonders hilfreich sein, wenn Lernende sich die dargestellten Bewegungen mit Hilfe des eigenen Körpers vorstellen. Dies kann erreicht werden indem sogenannte Spiegelneurone durch menschliche Gesten aktiviert werden. Dabei stellt sich die Frage, ob es reicht, wenn Lernende die menschlichen Gesten gezeigt bekommen oder ob sie diese selbst ausführen müssen. Zusätzlich können diese Befunde in verschiedenen Lerndomänen und –inhalten überprüft werden.

Methode: Experimentalstudie mit Messung der Gehirnaktivierung (fNIRS)

Ihre Ansprechpartnerin ist: Frau Dr. Birgit Brucker

Interaktive Displays und embodied cognition

Interaktive Displays verwenden eine intuitive und niederschwellige Gestensteuerung zur Interaktion mit Informationseinheiten sowie zur Aktivierung von Informationsverknüpfungen (z.B. iPhones oder Multi-Touch Tabletop-Systemen). Wie wird die kognitive Repräsentation einer konzeptuellen oder räumlichen Struktur durch die Darbietung auf einem interaktiven Display beeinflusst, mit dem der Nutzer direkt physikalisch durch Gesten oder Tangible Objects interagieren kann?

Methode: Experimentalstudie, die auf grundlagen- oder anwendungsbezogenem Material beruhen kann

Ihr Ansprechpartner ist: Herr Prof. Dr. Peter Gerjets

Können dynamische Visualisierungen, die gleichzeitig dargeboten werden, das Lernen unterstützen?

Auf größeren interaktiven Oberflächen (wie z.B. Multitouch-Tischen) können leicht mehrere dynamische Visualisierungen gleichzeitig abgespielt werden. Können Lernende mit diesem Format (multiple Animationen) Zusammenhänge leichter erkennen oder lenken multiple Animationen die Lernenden eher ab, da die Aufmerksamkeit auf unterschiedliche Visualisierungen verteilt werden müssen?

Methode: Experimentalstudie am Multitouch-Tisch

Ihre Ansprechpartnerin ist: Frau Dr. Birgit Brucker

Entdeckung von Inkonsistenzen und Vertrauenswürdigkeitsbewertungen bei der Rezeption von Informationen im Internet

Informationen im Internet können widersprüchliche oder fehlerhafte Informationen enthalten. Bemerken Internetnutzer Inkonsistenzen innerhalb einer Webseite? Und welche Rolle spielt dabei die Art der Webseite (z.B. Forum oder Uni-Seite)? Bemerken Internetnutzer Inkonsistenzen zwischen mehreren Webseiten? Und welchen Einfluss hat dies auf die Bewertung der Vertrauenswürdigkeit der sich widersprechenden Webseiten?

Methode: Experimentalstudien mit Blickbewegungsmessung

Ihre Ansprechpartnerin ist: Frau Dr. Yvonne Kammerer

Hilft direktes Interagieren beim Lernen?

Interaktive Oberflächen (wie z.B. Smartphones, Tablets, Multitouch-Tische) erlauben dem Lerner eine direkte intuitive Interaktion mit den dargestellten Objekten und Inhalten. Ist diese direkte haptische Interaktion (embodied interaction) hilfreich für das Lernen? Mögliche Themen sind Vergleiche mit Standard-GUIs; Variationen der räumlichen und zeitlichen Aspekte der Interaktion oder der Ausrichtung der Präsentationsfläche (Tisch vs. Wand).

Methode: Experimentalstudie mit interaktiven Geräten; Usabilitystudien

Ihre Ansprechpartnerin ist: Frau Dr. Birgit Brucker