mobile icon
Projekt

Der Einfluss gesprochener Texte auf die kognitive Verarbeitung komplexer bildlicher Darstellungen

ArbeitsgruppeRealitätsnahe Darstellungen
Laufzeit08/2017–03/2021
FörderungDeutsche Forschungsgemeinschaft
Projektbeschreibung

Das DFG-Projekt untersuchte den Einfluss auditiver Informationstexte auf die kognitiven Prozesse bei der Verarbeitung von Kunstwerken, wie sie in TV-Dokumentationen oder in Museen und Ausstellungen präsentiert werden.


Auf der Grundlage von Modellen des multimedialen Lernens und allgemeinpsychologischen Befunden zur Bild- und Szenenwahrnehmung beschäftigte sich das Projekt mit dem Einfluss von begleitenden Audiotexten auf die Wahrnehmung und Verarbeitung von komplexen Bildinhalten und die damit verbundenen Wissenserwerbsprozesse. In vier Laborexperimenten wurde der Einfluss von Audiotexten überprüft: Inwieweit reduzieren sie gezielt die Deutungsoffenheit von Bildern? Inwieweit fördern sie die Wahrnehmung und Verarbeitung vernachlässigter Bildelemente? Inwieweit verknüpfen sie Bildelemente gezielt perzeptuell und kognitiv? Inwieweit tragen sie zur dualen Kodierung der Bildinhalte bei? Gegenstand bildeten komplexe und detailreiche Gemälde zu geschichtlichen Ereignissen, die typischerweise zur Vermittlung historischen Wissens eingesetzt werden. Die Studien sollten Aufschluss geben über den Einfluss von auditiven Introtexten, der Nennung von salienten und nicht salienten Bildelementen, der Nennung von Bildelement-Relationen sowie der textuellen Strukturierung auf die Aufmerksamkeitslenkung (gaze coherence, Fixationszeiten, Anzahl Transitionen, erhoben mittels Eyetracking) und den Wissenserwerb (freier visueller Abruf, Text-Bildverknüpfung, Transfer, gedächtnisbezogene interindividuelle Übereinstimmung). Die Ergebnisse zeigten einen Hinweis darauf, dass Inhalte von Bildern mit Bildtitel besser an bestehende Vorwissensstrukturen angeknüpft und dadurch besser abgerufen werden können als ohne Bildtitel, was für eine Kanalisierung der Bildinterpretation bzw. für eine Reduktion der Deutungsoffenheit von Bildern durch Bildtitel spricht. Außerdem zeigten die Ergebnisse, dass Benennungen von Bildelementen den Betrachter dazu veranlassen, seine Aufmerksamkeit auf das jeweilige Bildelement in einer bestimmten Szene zu lenken. Die Feststellung, dass dieser Benennungs-Effekt bei der visuellen Inspektion bei hoch salienten Bildelementen stärker ausgeprägt ist als bei niedrig salienten Bildelementen, zeigt, dass die visuellen Eigenschaften der Gemälde wie Zentralität oder Komposition im Verlauf der visuellen Inspektion dennoch eine dominierende Rolle spielen. Die Benennung bestimmter Bildelemente in den verbalen Erklärungen von Museumsführern oder Audioguides kann dem Betrachter jedoch helfen, automatischen Tendenzen entgegenzuwirken, sich auf zentrale Bildelemente von Gemälden oder auf menschliche Gesichter zu konzentrieren, und stattdessen wie fachkundige Bildbetrachter auf ansonsten unbemerkte Bildelemente eines Gemäldes zu achten. Die Auswirkungen der Benennung von Bildelementen gehen außerdem über die visuelle Inspektion hinaus und führen zu einer verbesserten Behaltensleistung und, was in der bisherigen Forschung erstmalig gezeigt werden konnte, zu einer besseren Identifizierung bzw. einem besseren Erinnern von benannten Bildelementen in anderen Kunstwerken, die dasselbe Thema darstellen. Wie spezifische Bildinhalte zu interpretieren sind, kann außerdem durch eine zeitlich unmittelbar aufeinanderfolgende Lokalisierung, Benennung und Interpretation der einzelnen Bildelemente im Audiotext vermittelt werden, da dies die Verknüpfung von Bild- und Audiotextinformation im Sinne der dualen Kodierung unterstützt. Für die Praxis kann geschlossen werden, dass die Benennung von Bildelementen in einem Audioguide oder durch einen Museumsführer die Museumsbesucher bei der visuellen Inspektion von Gemälden leitet und ihnen hilft, eine mentale Repräsentation des Gemäldes aufzubauen, ein adäquates Verständnis dafür zu entwickeln und dieses auf die Auseinandersetzung mit weiteren ähnlichen Kunstwerken zu übertragen.


Ergänzend zu diesem Projekt wurden weitere Studien durchgeführt, die neben der Gestaltung von Audiotexten auch den Einfluss visueller Gestaltungsmittel hinsichtlich der Verarbeitung von Kunstwerken untersuchten. Dabei spielten beispielsweise cinematografische Techniken wie Kamerazooms und -schwenks sowie Cueing-Techniken aus der Multimediaforschung eine Rolle. Hier zeigten die Ergebnisse, dass visuelles Cueing den Unterschied zwischen den im Audiotext benannten und den weniger gut behaltenen nicht benannten Bildelementen vergrößert und einen Nachteil der Benennung bezüglich der Lokalisierungsleistung ausgleicht. Beides zeigte sich sowohl für explizites visuelles Cueing in Form roter Umrahmungen als auch für implizites visuelles Cueing in Form von Zoom-ins. Bezüglich der Beibehaltung und Lokalisierung, waren explizites und implizites Cueing gleich effektiv.

Publikationen

Glaser, M., Knoos, M., & Schwan, S. (in press). How verbal cues help to see and understand art. Psychology of Aesthetics, Creativity, and the Arts. https://dx.doi.org/10.1037/aca0000372
 

Glaser, M., Knoos, M., & Schwan, S. (2022). Localizing, describing, interpreting: effects of different audio text structures on attributing meaning to digital pictures. Instructional Science, 50(5), 729-748. https://dx.doi.org/10.1007/s11251-022-09593-6 Open Access
 

Glaser, M., & Schwan, S. (2020). Combining verbal and visual cueing: Fostering learning pictorial content by coordinating verbal explanations with different types of visual cueing. Instructional Science, 48(2), 159-182. https://dx.doi.org/10.1007/s11251-020-09506-5
 

Glaser, M., Knoos, M., & Schwan, S. (2020). The Closer, the better? Processing relations between picture elements in historical paintings. Journal of Eye Movement Research, 13(2), Article 11. https://dx.doi.org/10.16910/jemr.13.2.11 Open Access