mobile icon
Projekt

Kognitive Grundlagen des Modalitätseffektes

Arbeitsgruppe Multimodale Interaktion

Laufzeit

November 2006 - Oktober 2008

Förderung

Deutsche Forschungsgemeinschaft (DFG)

Projektbeschreibung

ScreenshotNach dem so genannten Modalitätsprinzip sollte bei der Verknüpfung von verbaler und piktorialer Information die Darbietung des Textes auditiv und nicht visuell erfolgen. Die Überlegenheit einer Verknüpfung von auditivem Text und Bild gegenüber einer Verknüpfung von visuellem Text und Bild wurde in einer Vielzahl von empirischen Studien bestätigt.
Als kognitive Grundlage für die Entstehung des Modalitätseffektes wird üblicherweise eine Erhöhung der zur Verfügung stehenden Arbeitsgedächtniskapazität angeführt. In dem vorliegenden Projekt wurde untersucht, inwiefern auch andere kognitive Prozesse die Überlegenheit der Verknüpfung von auditivem Text und Bild erklären können. Wir fokussierten dabei im Besonderen auf den Aspekt der simultanen Verarbeitung von verbalem Material und piktorialer Information: Denn während bei der Darbietung von Bild und auditivem Text eine simultane Wahrnehmung des Materials möglich ist, ist die simultane Wahrnehmung bei der Darbietung von Bild und visuellem Text nicht gegeben. Stattdessen müssen die Lerner hier zwischen Bild und visuellem Text hin- und herwechseln, Suchprozesse ausführen und mentale Rekonstruktionen des Materials vornehmen. Somit sollte der Modalitätseffekt vor allem auf die zeitliche und räumliche Kontiguität der Text-Bild Darbietung zurückgehen. In Kooperation mit der Universität Tübingen (Katharina Scheiter) und der Universität des Saarlandes (Ralf Rummer) wurden diese möglichen Alternativerklärungen untersucht.

Kooperationspartner

  • Universität Tübingen
  • Universität des Saarlandes

Publikationen

  • Schüler, A., Scheiter, K., Rummer, R., & Gerjets, P. (in press). Explaining the modality effect in multimedia learning: Is it due to a lack of temporal contiguity with written text and pictures? Learning and Instruction.
  • Rummer, R., Schweppe, J., Scheiter, K., & Gerjets, P. (2008). Lernen mit Multimedia: Die kognitiven Grundlagen des Modalitätseffekts. Psychologische Rundschau, 59, 98-107.
  • Schüler, A., Scheiter, K., Gerjets, P., & Rummer, R. (2008). Does a lack of contiguity with visual text cause the modality effect in multimedia learning? In B. C. Love, K. McRae, & V. M. Sloutsky (Eds.), Proceedings of the 30th Annual Conference of the Cognitive Science Society (pp. 2353-2358). Austin, TX: Cognitive Science Society.