• Press Information
  • Contact
  • deutsch | english
Multiple representations

Multiple Representations Lab

Multimedia learning environments are characterized by presenting both, verbal and pictorial information. The advantage of multimedia instruction over single medium instruction (text) can be explained by specific properties of visualizations that foster learning. That is, pictures may be particularly useful for quickly recognizing visual-spatial relationships. They also may substitute reasoning and inferences grounded in perception for cognitively demanding logical inferences, thereby relieving the cognitive system. In addition, when combined with text, visualizations support learners with interpreting the text and mentally organizing the presented relationships. Furthermore, it is argued that learning with visualizations results in an analogical knowledge representation which complements the linguistic knowledge representation derived from the text and which can also be used during reasoning. However, these potential advantages of multimedia learning are not expressed in all circumstances; rather, they depend on specific characteristics of the text and the picture as well as on the way these representational formats interact.

The Multimedia Research Lab covers two avenues of research concerning how and under which circumstances learning with multimedia in different subject areas is more beneficial than learning with only one representation:

Cognitive foundations of multimedia learning

In the first avenue of research, the question of which cognitive processes contribute to learning with different multimedia presentation formats is addressed. Here, theories and models concerning cognition and perception during learning are combined with different methods to investigate information processing (e.g., eye tracking and verbal protocols) and are interpreted by taking their relation to learning outcomes for different contents into account. An important question is how different components of working memory are involved in the processing of multimedia information.

Instructional support for multimedia learning

In the second avenue of research it is investigated how multimedia can be used to support knowledge acquisition in formal and informal contexts of learning. Specifically, we develop and evaluate instructional support measures and principles of designing multimedia instruction and transfer those to various application contexts. Among other things, these contexts are characterized by the use of innovative digital technologies such as touch-sensitive, easy-to-use tablets and large multitouch applications as well as adaptive systems, which automatically adjust to a user’s behavior. A common feature of the projects in this line of research is to study the usefulness of basic research insights regarding learning with multimedia in more applied research contexts and to optimize education in formal and informal contexts of learning, thereby contributing to a transfer of scientific knowledge into practice.

Team Multiple representations

Projects

Adaptive eye movement modeling of strategies

The project focuses on self-regulated learning from text and pictures. Previous research has shown that multimedia material is often processed inadequately. This project examines the ex-tent to which a video-based presentation of a successful learner’s eye movements is suitable for conveying adequate information processing strategies to learners. The results of this project are relevant wherever text and pictures are used for knowledge transfer (e.g., at school or university).

eChemBook: Development of an evidence-based digital and interactive chemistry textbook

How can the potential of digital learning material be best used to support learning processes? The eChemBook project focuses on this question. A team of researchers and practitioners developed and evaluated an evidence-based prototype of a chemistry textbook. Results are used to create design recommendations and teaching manuals that are evaluated and transferred to the practice.

Learner-generated drawing

The use of tablets as learning medium in our schools is continuously growing. This dissertation project deals with how tablets can support students in constructing drawings. Constructing drawings during learning is a strategy that particularly increases learning outcomes in science domains containing a high degree of visual-spatial information.

Mental imagery processes when learning with text and pictures

The project investigates the role of mental imagery processes when learning with text and pictures. It addresses the question whether the beneficial effect of picture presentation might be explained by the fact that pictures support or substitute imagery processes. The outcomes of this project are especially important for all fields of application where text and pictures are used as learning materials (e.g., school or university).

Multimedia in the classroom

Multimedia-based material is often used in school education to depict complex relations. However, students do not always use the material in a way that is beneficial for learning. For instance, they fail to use adequate learning strategies or do not invest enough effort. The project deals with the question of which motivational and cognitive learning strategies are helpful and how they can be supported when learning with multimedia.

Recognizing contradictory text-picture information

The project focuses on the cognitive processes involved when learning with text and pictures. It is investigated whether text and pictures are mentally integrated with each other. Since text-picture integration is the precondition for successful learning, the results of this project are central to application fields where text and pictures are used as learning materials (e.g. school or university).

Support of metacognitive processes during learning with multiple representations

During learning as for instance in schools, it is very important that learners are aware of their state of learning and their learning goal in order to be able to control their learning behavior with regard to their goal. For learners it is not easy to make accurate judgments of learning. This dissertation project takes a closer look at the question of how learners can be supported to make more accurate judgments.

Former Projects

graduation papers

Wie kann der Einsatz von digitalen Medien (E-Books, Tablet-PCs) für die pädagogisch-psychologische Praxis verbessert werden?

In diesem Projekt geht es darum, wie die Nutzung von digitalen Medien (E-Books, Tablet-PCs) für den naturwissenschaftlichen Unterricht optimiert werden kann. Konkrete Fragestellungen sind dabei, wie interaktive Lernaufgaben zu einer sinnvollen Nutzung von Tablets im Unterricht beitragen können und ob konstruktive Lernaktivitäten wie das Zeichnen auf dem Tablet das Verständnis für naturwissenschaftliche Inhalte verbessern können.

Ihre Ansprechpartner sind: Frau Prof. Dr. Katharina Scheiter und Herr Dr. Alexander Eitel

Wie werden Widersprüche zwischen Text und Bild verarbeitet und welche Rolle spielt dabei die subjektiv wahrgenommene Glaubwürdigkeit des Mediums?

Geht man davon aus, dass sowohl Text als auch das Bild beim Lernen ausreichend tief verarbeitet werden, dann müssten Lernende Widersprüche erkennen, sollten diese zwischen Text und Bild bestehen. Daher beziehen sich mögliche Fragestellungen darauf, ob und wann solche Widersprüche erkannt werden, und ob das Auflösen von Widersprüchen in Text und Bild eine lernförderliche Wirkung über eine vertiefte Auseinandersetzung mit den Inhalten haben kann.

Ihre Ansprechpartner ist: Herr Dr. Alexander Eitel

Fördern Gesten das Verständnis für Bewegungsabläufe?

Verschiedene Arbeiten belegen, dass externe Repräsentationen wie z.B. dynamische oder statische Visualisierungen das Verständnis für Bewegungsabläufe verbessern können. In einem Kooperationsprojekt mit Prof. Dr. Shaaron Ainsworth, Universität Nottingham, wird der Frage nachgegangen, inwieweit während des Lernens mit den Händen ausgeführte Gesten diesen Verstehensprozess zusätzlich fördern können. Mögliche Fragestellungen beziehen sich dabei auf die allgemeine Lernförderlichkeit von Gesten, die spezifische Wirksamkeit einzelner Gesten, Möglichkeiten zur Unterstützung der Gestenproduktion sowie den sinnvollen Zeitpunkt der Verwendung von Gesten.

Ihre Ansprechpartner ist: Frau Prof. Dr. Katharina Scheiter

Kann das Lernen mit Animationen durch den Einsatz von Vorsätzen unterstützt werden?

Animationen sind gegenüber statischen Visualisierungen unter anderem durch zeitkritische Verarbeitungsanforderungen und zusätzliche kognitive Belastungen gekennzeichnet, z.B. wenn es notwendig ist, relevante aber transiente Informationen im Arbeitsgedächtnis aktiv zu halten, um sie mit später präsentierten Informationen in Beziehung zu setzen. Sie zeichnen sich damit durch besondere Herausforderungen in Bezug auf die Informationsverarbeitung aus (sog. overwhelming effect). Weiterhin führen dynamische Visualisierungen trotz hoher objektiver Verarbeitungsanforderungen oftmals nur zu einer geringeren Bereitschaft, Anstrengung in die konzentrierte Verarbeitung der Information zu investieren (sog. underwhelming effect). Es soll geprüft werden, inwieweit Vorsätze dazu beitragen können, diesen beiden Problemen beim Lernen mit Animationen zu begegnen. Bei Vorsätzen handelt es sich um spezifische Handlungspläne, die die Ausführung relevanter Lernhandlungen begünstigen können (z.B. „Wenn ich eine Animation betrachte, dann werde ich mich auf die Inhalte konzentrieren“).

Ihre Ansprechpartner ist: Frau Prof. Dr. Katharina Scheiter

Welchen Einfluss haben Textmerkmale auf den Multimediaeffekt?

Die Überlegenheit des Lernens mit Multimedia (Text und Bild) gegenüber dem Lernen mit Text konnte vielfach empirisch bestätigt werden. Unklar ist jedoch, welche Merkmale des Textes am Zustandekommen dieses Effekts beteiligt sind. Wichtige Moderatoren, deren Einfluss im Rahmen einer Diplomarbeit untersucht werden kann, sind die Textkompatibilität, das Ausmaß an im Text enthaltener räumlicher Information, stilistische Mittel (z.B. Bildverweise im Text) sowie die Kohärenz des Texts.

Ihre Ansprechpartnerin ist: Frau Prof. Dr. Katharina Scheiter

Können mentale Vorstellungsbilder die Wirkweise von multimedialem Material erklären?

Ein vielbestätigter Befund ist die Überlegenheit von Text-Bilddarbietungen gegenüber der Darbietung von Texten allein. In der Diplomarbeit soll der Frage nachgegangen werden, ob dieser Effekt darauf beruht, dass durch die Darbietung von Bildern die Vorstellung eines mentalen Bildes während der Textverarbeitung erleichtert wird.

Ihre Ansprechpartner ist: Frau Dr. Anne Schüler

Unter welchen Bedingungen unterstützen Bilder den Wissenserwerb?

Ein vielbestätigter Befund in der Multimediaforschung ist der positive Effekt der Bilddarbietung auf das Lernergebnis. Unklar ist jedoch, worauf dieser Effekt genau zurückzuführen ist. In der Diplomarbeit, die in Kooperation mit der Universität Padua (Italien) durchgeführt wird, soll zwischen für den Wissenserwerb förderlichen und nicht-förderlichen Bildinformationen differenziert werden. Die Spezifizierung solcher Bildelemente ist insofern interessant, als dass sie Aufschluss über die zugrunde liegenden Prozesse bei der Text-Bildverarbeitung zulässt.

Ihre Ansprechpartnern ist: Frau Dr. Anne Schüler

Gibt es einen Integrationsprozess im Arbeitsgedächtnis?

Eine grundlegende Annahme in der Multimediaforschung ist, dass Text und Bild miteinander integriert werden. Überraschenderweise gibt es jedoch kaum Studien, die diese Annahme empirisch prüfen. Im vorliegenden Projekt soll mit Hilfe von aus der Grundlagenforschung entliehenen Paradigmen untersucht werden, inwiefern eine Integration von Text und Bild tatsächlich stattfindet. Des Weiteren soll die Rolle des Arbeitsgedächtnisses in diesem Integrationsprozess näher untersucht werden.

Ihre Ansprechpartnerinnen sind: Frau Prof. Dr. Katharina Scheiter und Dr. Anne Schüler