FAQ
© 2015 Staats- und Universitätsbibliothek
Hamburg, Carl von Ossietzky

Öffnungszeiten heute09.00 bis 24.00 Uhr alle Öffnungszeiten

Eingang zum Volltext in OPUS

Hinweis zum Urheberrecht

Dissertation zugänglich unter
URN: urn:nbn:de:gbv:18-45017
URL: http://ediss.sub.uni-hamburg.de/volltexte/2010/4501/


Multimodal Comprehension of Graph-Text Constellations: An Information Processing Perspective

Multimodales Verstehen von Graph-Text-Konstellationen aus der Perspektive der Informationsverarbeitung

Acartürk, Cengiz

pdf-Format:
 Dokument 1.pdf (9.784 KB) 


SWD-Schlagwörter: Graphen , Mensch-Maschine-Kommunikation , Kognitionswissenschaft
Freie Schlagwörter (Deutsch): Graph-Text-Konstellationen , Multimodales Verstehen , Verstehen von Graphen , Repräsentationsmodalitäten
Freie Schlagwörter (Englisch): Graph-Text Constellations , Multimodal Comprehension , Graph Comprehension , Human-Computer Interaction (HCI) , Cognitive Science
Basisklassifikation: 54.72 , 77.31 , 54.87 , 54.08 , 54.89
Institut: Informatik
DDC-Sachgruppe: Informatik
Dokumentart: Dissertation
Hauptberichter: Habel, Christopher (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 19.02.2010
Erstellungsjahr: 2009
Publikationsdatum: 26.02.2010
Kurzfassung auf Englisch: Documents containing information in different representational modalities (e.g., text, pictorial and diagrammatic illustrations, graphs) are widely used in personal and professional settings of daily life, both in printed media and in human-computer interaction environments, such as WWW. In particular, graph-text constellations are one of those cognitive means by which we accomplish high-level problem solving and communication tasks. This dissertation performs a systematic, scientific investigation of multimodal comprehension of graph-text constellations by humans—as natural cognitive systems—for providing empirical basis and scientific models for the design and development of artificial cognitive systems that have the capacity to support users during their design and production of graph-text constellations. First, an overview of the existing approaches in graph comprehension and language comprehension is presented. Second, a theoretical framework is developed by extending the reach of the existing approaches to embody comprehension of graphical and linguistic entities under the framework of the common conceptual basis for multimodal comprehension. Third, various aspects of the interaction between language comprehension and graph comprehension are empirically investigated by conducting experiments with human participants. The empirical investigations reveal how users integrate the information contributed by the representations in different modalities, how the changes in one modality lead to substantial influences in comprehension of the entities in the other modality, and how inappropriate design of graphs and graph-text combinations give rise to difficulties during the course of multimodal comprehension. Based on the analysis of those difficulties in comprehension from the perspective of HCI, this dissertation lays the foundations for appropriate design of graph-text constellations and for the development of software tools that would provide users with support for appropriate design during their course of designing and producing graph-text constellations.
Kurzfassung auf Deutsch: Dokumente, die Informationen in verschiedenen Repräsentationsmodalitäten (z.B. Text, bildhafte und diagrammatische Darstellungen, Graphiken) enthalten, sind im privaten und beruflichen Alltag sowohl in den Printmedien als auch in Anwendungsszenarien der Mensch-Computer-Interaktion (MCI), wie z.B. im WWW, weit verbreitet. Insbesondere sind Graph-Text-Konstellationen eines jener kognitiven Mittel, mit denen wir anspruchsvolle Probleme und Kommunikationsaufgaben bewältigen. Diese Dissertation enthält eine systematische und wissenschaftliche Untersuchung zum Verstehen von Graph-Text-Konstellationen durch Menschen—als natürlichen kognitiven Systemen—und stellt damit ein empirisches und wissenschaftliches Modell für das Design und die Entwicklung von künstlichen kognitiven Agenten bereit, die in der Lage sind, Nutzer beim Design und bei der Entwicklung von Graph-Text-Konstellationen zu unterstützen. Als erstes wird ein Überblick zu den existierenden Ansätzen zum Verstehen von Graphen und zum Sprachverstehen gegeben. Als zweites wird ein theoretisches Rahmenwerk entwickelt, das die existierenden Ansätze derart erweitert, dass das Verstehen von graphischen und linguistischen Entitäten im Rahmen einer gemeinsamen begrifflichen Basis für multimodales Verstehen behandelt wird. Als drittes werden diverse Aspekte der Interaktion von Sprachverstehen und Graphverstehen durch Experimente mit menschlichen Teilnehmern empirisch untersucht. Die empirischen Untersuchungen zeigen, dass und in welcher Weise Menschen Informationen, die in verschiedenen Modalitäten repräsentiert sind, integrieren, dass und in welcher Weise Änderungen in einer Modalität wesentliche Einflüsse auf das Verstehen von Entitäten in anderen Modalitäten haben, und dass und in welcher Weise ein ungeeignetes Design von Graphiken und Graph-Text-Kombinationen zu Schwierigkeiten beim multimodalen Verstehen führen. Ausgehend von der Analyse dieser Schwierigkeiten beim menschlichen Verstehen stellt diese Dissertation aus der Perspektive der MCI Grundlagen für das Design von Graphik-Text-Konstellationen bereit und ebensos Prinzipien für die Entwicklung von Softwaretools, die Nutzer beim geeigneten Design während der Konstruktion und Produktion von Graph-Text-Konstellationen unterstützen.

Zugriffsstatistik

keine Statistikdaten vorhanden
Legende