mobile icon
Projekt

Erkennen von Widersprüchen zwischen Text und Bild

ArbeitsgruppeMultiple Repräsentationen
Laufzeit2013 - 2020
FörderungIWM Haushaltsmittel
Projektbeschreibung

In diesem Projekt standen die kognitiven Prozesse beim Lernen mit Texten und Bildern im Fokus. Konkret ging es um die Frage, ob Texte und Bilder mental miteinander integriert werden. Da die Text-Bild-Integration die Voraussetzung für erfolgreiches Lernen bildet, spielt sie eine zentrale Rolle überall dort, wo Texte und Bilder als Lernmaterial eingesetzt werden, beispielsweise in Schule oder Hochschule.


Die theoretische Ausgangslage für das Projekt bildete der im Rahmen der Cognitive Theory of Multimedia Learning von Mayer (2009) postulierte Integrationsprozess, der beim Lernen mit Texten und Bildern eine zentrale Rolle spielt und maßgeblich für den Lernerfolg verantwortlich sein soll. Ziel des Projekts war es, diesen Integrationsprozess näher zu beleuchten.


Hierfür wurde ein Paradigma verwendet, bei welchem Lernenden widersprüchliche Informationen dargeboten werden. Es wurde davon ausgegangen, dass, wenn Lernende Text und Bild miteinander integrieren, eine wesentliche Anforderung darin besteht zu erkennen, welche Text- und Bildelemente sich entsprechen. Diese Suche nach Korrespondenzen sollte bereits während des Lernens stattfindet. Ist dies der Fall, sollten Lernende auch auf Widersprüche zwischen Text- und Bildinformation aufmerksam werden. Diesem Aspekt wurde in mehreren Studien nachgegangen, in denen die Blickbewegungen der Lernenden bei der Verarbeitung einer widerspruchsfreien bzw. einer widersprüchlichen Text-Bild Kombination aufgezeichnet wurden. Dabei wurden sowohl statische Bilder mit geschriebenen Texten kombiniert, als auch dynamische Bilder mit gesprochenen Texten. Die Verarbeitung widersprüchlicher Text-Bild Kombinationen zeichnete sich u.a. durch längere Betrachtungszeiten von (geschriebenen) Texten und Bildern sowie häufigere Blickwechsel zwischen (geschriebenem) Text und Bild aus. Dies spricht für eine frühzeitige Text-Bild Integration, da Widersprüche zwischen Text und Bild bereits während des Lernens erkannt werden.


Des Weiteren wurde im Rahmen des Projekts untersucht, ob Lernende auch aufeinanderfolgende Informationen miteinander integrieren. Hierfür wurden nacheinander sich widersprechende Informationen dargeboten. Die Ergebnisse zeigten, dass Lernende, sobald sie auf den Widerspruch stießen, den Text und das Bild intensiver verarbeiten. Diese Befunde sprechen dafür, dass nicht nur gleichzeitig dargebotene Informationen miteinander integriert werden, sondern dass auch aufeinanderfolgende Informationen in ein mentales Modell integriert werden.


Da die Integration von Informationen in ein mentales Modell als lernförderlich angenommen wird, sollte der Text-Bild-Integrationsprozess insbesondere auch im Schul- und Hochschulkontext gefördert werden.


Kooperationen
  • Dr. Martin Merkt, Deutsches Institut für Erwachsenenbildung

Publikationen

Schüler, A., & Merkt, M. (2021). Investigating text‐picture integration in videos with the multimedia contradiction paradigm. Journal of Computer Assisted Learning, 37, 718-734. https://dx.doi.org/10.1111/jcal.12518 Volltext anfordern
 

Schüler, A. (2019). The integration of information in a digital, multi-modal learning environment. Learning and Instruction, 59, 76-87. https://dx.doi.org/10.1016/j.learninstruc.2017.12.005 Volltext anfordern
 

Schüler, A. (2017). Investigating gaze behavior during processing of inconsistent text-picture information: Evidence for text-picture integration. Learning and Instruction, 49, 218-231. https://dx.doi.org/10.1016/j.learninstruc.2017.03.001 Volltext anfordern