Arbeitsgruppe Multimodale Interaktion
November 2006 - Oktober 2008
Deutsche Forschungsgemeinschaft (DFG)
Nach dem so genannten Modalitätsprinzip sollte bei der Verknüpfung
von verbaler und piktorialer Information die Darbietung des Textes auditiv und
nicht visuell erfolgen. Die Überlegenheit einer Verknüpfung von auditivem
Text und Bild gegenüber einer Verknüpfung von visuellem Text und Bild
wurde in einer Vielzahl von empirischen Studien bestätigt.
Als kognitive Grundlage für die Entstehung des Modalitätseffektes
wird üblicherweise eine Erhöhung der zur Verfügung stehenden
Arbeitsgedächtniskapazität angeführt. In dem vorliegenden Projekt
wurde untersucht, inwiefern auch andere kognitive Prozesse die Überlegenheit
der Verknüpfung von auditivem Text und Bild erklären können.
Wir fokussierten dabei im Besonderen auf den Aspekt der simultanen Verarbeitung
von verbalem Material und piktorialer Information: Denn während bei der
Darbietung von Bild und auditivem Text eine simultane Wahrnehmung des Materials
möglich ist, ist die simultane Wahrnehmung bei der Darbietung von Bild
und visuellem Text nicht gegeben. Stattdessen müssen die Lerner hier zwischen
Bild und visuellem Text hin- und herwechseln, Suchprozesse ausführen und
mentale Rekonstruktionen des Materials vornehmen. Somit sollte der Modalitätseffekt
vor allem auf die zeitliche und räumliche Kontiguität der Text-Bild
Darbietung zurückgehen. In Kooperation mit der Universität Tübingen
(Katharina Scheiter) und der Universität des Saarlandes (Ralf Rummer) wurden diese möglichen Alternativerklärungen untersucht.