Multimodal Comprehension of Graph-Text Constellations: An Information Processing Perspective

Abstract

Documents containing information in different representational modalities (e.g., text, pictorial and diagrammatic illustrations, graphs) are widely used in personal and professional settings of daily life, both in printed media and in human-computer interaction environments, such as WWW. In particular, graph-text constellations are one of those cognitive means by which we accomplish high-level problem solving and communication tasks. This dissertation performs a systematic, scientific investigation of multimodal comprehension of graph-text constellations by humans—as natural cognitive systems—for providing empirical basis and scientific models for the design and development of artificial cognitive systems that have the capacity to support users during their design and production of graph-text constellations. First, an overview of the existing approaches in graph comprehension and language comprehension is presented. Second, a theoretical framework is developed by extending the reach of the existing approaches to embody comprehension of graphical and linguistic entities under the framework of the common conceptual basis for multimodal comprehension. Third, various aspects of the interaction between language comprehension and graph comprehension are empirically investigated by conducting experiments with human participants. The empirical investigations reveal how users integrate the information contributed by the representations in different modalities, how the changes in one modality lead to substantial influences in comprehension of the entities in the other modality, and how inappropriate design of graphs and graph-text combinations give rise to difficulties during the course of multimodal comprehension. Based on the analysis of those difficulties in comprehension from the perspective of HCI, this dissertation lays the foundations for appropriate design of graph-text constellations and for the development of software tools that would provide users with support for appropriate design during their course of designing and producing graph-text constellations.

Dokumente, die Informationen in verschiedenen Repräsentationsmodalitäten (z.B. Text, bildhafte und diagrammatische Darstellungen, Graphiken) enthalten, sind im privaten und beruflichen Alltag sowohl in den Printmedien als auch in Anwendungsszenarien der Mensch-Computer-Interaktion (MCI), wie z.B. im WWW, weit verbreitet. Insbesondere sind Graph-Text-Konstellationen eines jener kognitiven Mittel, mit denen wir anspruchsvolle Probleme und Kommunikationsaufgaben bewältigen. Diese Dissertation enthält eine systematische und wissenschaftliche Untersuchung zum Verstehen von Graph-Text-Konstellationen durch Menschen—als natürlichen kognitiven Systemen—und stellt damit ein empirisches und wissenschaftliches Modell für das Design und die Entwicklung von künstlichen kognitiven Agenten bereit, die in der Lage sind, Nutzer beim Design und bei der Entwicklung von Graph-Text-Konstellationen zu unterstützen. Als erstes wird ein Überblick zu den existierenden Ansätzen zum Verstehen von Graphen und zum Sprachverstehen gegeben. Als zweites wird ein theoretisches Rahmenwerk entwickelt, das die existierenden Ansätze derart erweitert, dass das Verstehen von graphischen und linguistischen Entitäten im Rahmen einer gemeinsamen begrifflichen Basis für multimodales Verstehen behandelt wird. Als drittes werden diverse Aspekte der Interaktion von Sprachverstehen und Graphverstehen durch Experimente mit menschlichen Teilnehmern empirisch untersucht. Die empirischen Untersuchungen zeigen, dass und in welcher Weise Menschen Informationen, die in verschiedenen Modalitäten repräsentiert sind, integrieren, dass und in welcher Weise Änderungen in einer Modalität wesentliche Einflüsse auf das Verstehen von Entitäten in anderen Modalitäten haben, und dass und in welcher Weise ein ungeeignetes Design von Graphiken und Graph-Text-Kombinationen zu Schwierigkeiten beim multimodalen Verstehen führen. Ausgehend von der Analyse dieser Schwierigkeiten beim menschlichen Verstehen stellt diese Dissertation aus der Perspektive der MCI Grundlagen für das Design von Graphik-Text-Konstellationen bereit und ebensos Prinzipien für die Entwicklung von Softwaretools, die Nutzer beim geeigneten Design während der Konstruktion und Produktion von Graph-Text-Konstellationen unterstützen.