FAQ
© 2016 Staats- und Universitätsbibliothek
Hamburg, Carl von Ossietzky

Öffnungszeiten heute09.00 bis 24.00 Uhr alle Öffnungszeiten

Eingang zum Volltext in OPUS

Hinweis zum Urheberrecht

Dissertation zugänglich unter
URN: urn:nbn:de:gbv:18-77645
URL: http://ediss.sub.uni-hamburg.de/volltexte/2016/7764/


Verbally Assisted Haptic-Graph Comprehension : Multi-Modal Empirical Research Towards a Human Computer Interface

Verbalunterstütztes haptisches Graphik-Verstehen : eine multimodaleempirische Forschung zur Mensch-Computer-Interaktion

Alacam, Özge

pdf-Format:
 Dokument 1.pdf (6.211 KB) 


Freie Schlagwörter (Englisch): verbal assistance , haptic graph comprehension , multimodal communication
Basisklassifikation: 54.75
Institut: Informatik
DDC-Sachgruppe: Informatik
Dokumentart: Dissertation
Hauptberichter: Habel, Christopher (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 21.12.2015
Erstellungsjahr: 2015
Publikationsdatum: 29.03.2016
Kurzfassung auf Englisch: Statistical graphs, such as line graphs, are widely used elements of multimodal communicational settings as it is the case with the news media, economy bulletins or educational settings due to their facilitating influence on crucial cognitive processes, such as reasoning, problem solving and memory. At the bottom line, they present data points. However by means of human pattern perception processing (i.e. if some Gestalt principles are satisfied), the continuous line of the graphs allows easy extraction of second order entities and relations (such as extreme values, trends, or changes in trends), which are closely linked to shape properties of the graphs.
A promising approach to provide blind people with access to external representations is sensory substitution using haptic and audio modalities. Haptic presentations of graphs provide a suitable means to acquire such knowledge as a substitute to visual graphs, in particular when they are integrated in hybrid systems. However designing efficient environment for this purpose has its own challenges. Due to perceptual differences between visual and haptic modalities, informational or functional inequivalences are inevitable. This dissertation focuses on providing visually impaired users with a verbal assistance as an accompanying modality to their haptic graph exploration with the aim of bridging this gap and presenting coherent information. The verbally assisted haptic graph comprehension is a task oriented joint activity between two agents; a human explorer who perceives the graph haptically through active exploration and a verbal assistance agent that provides helps to the explorers in a simple but facilitating manner. Successful design of such system can be achieved only with an interdisciplinary perspective that incorporate several mainstream research fields such as “graph comprehension”, “event segmentation”, “referring expression production by humans and generation by automated systems”, “dynamics of a joint activity” and “HCI aspects for efficient and effective system design”.
For this purpose, a series of cognitive science oriented empirical studies concerning perception, comprehension and communicational aspects was performed on both visual and haptic modalities. Haptic graph comprehension and the affordances of the collaborative environment were investigated through single-user experimental paradigms as well as through human-human joint activity settings focusing on various research questions. Such multi-modal interface involves various sensory and communicational modalities. A systematic investigation of the interaction between them plays an important role in the realization of the system. To that end, various methods including the analyses of linguistic data, speech-accompanying gestures, sketches, haptic exploration movements and post-exploration questionnaires were utilized.
In brief, the empirical findings indicated that
• Without assistance, the haptic explorers have difficulties in conceptualization of the graphs due to having incomplete knowledge in their graph schemata, which has a key role in establishing appropriate mapping between the graphical features and the conceptual event.
• Amodal geometric properties (such as shape, size, orientation etc.) have a strong significant effect on event segmentation and description.
• The sensory modality of graph reading has an effect on gesture production.
• Taking initiative in requesting help and having adequate verbal assistance enriched by modifiers in a response, seems a superb combination for a successful joint activity that enhances graph comprehension.
• Haptic exploration patterns (the speed, the number of back-and-forth actions on the graph line, the qualitative ascriptions etc.) can be used to detect assistance need in an instantaneous and automatic manner.
• Coming into alignment at the situation level and the appropriate choice of frame of reference with respect to the communicative goal at hand is crucial.
• The analysis of gestures as a HCI research paradigm has been proved to be very efficient tool, i.e. in resolving ambiguities in verbal data.
• The integrated knowledge obtained from all empirical investigations was used to constitute design guidelines, in specific for verbally assisted haptic graph comprehension and in general for shape based haptic representations and verbal assistance constellations.
Kurzfassung auf Deutsch: Statistische Diagramme, u.a. Liniendiagramme, werden in vielen multimodalen Kommunikationssituationen eingesetzt, sowohl in Wissenschaft und Ausbildung, als auch in der Wirtschaft und den generellen Medien, da durch die Visualisierung von Daten und Information Denken und Problemlösen unterstützt werden kann. Liniengraphen präsentieren primär Datenpunkte. Doch die visuelle Wahrnehmung des Menschen ermöglicht aus der Linie des Graphen weitere Entitäten und Relationen zweiter Ordnung (wie Extremwerte, Trends oder Veränderungen in den Trends) zu erkennen, die auf der den Formeigenschaften des Graphlinie beruhen.
Um Blinden oder stark Sehbehinderten einen Zugang zu graphischen Darstellungen zu ermöglichen, ist die sensorische Substitution mithilfe der haptischen und auditiven Wahrnehmung ein vielversprechender Ansatz. Haptische Präsentationen von Graphen sind ein geeigneter Ersatz zu visuellen Diagrammen, um diese Kenntnisse als Ersatz, um visuelle Diagramme zu erwerben, insbesondere, wenn sie in Hybrid-Systemen integriert sind. Allerdings bringt die Gestaltung eines effizienten Umfeldes für diesen Zweck ihre eigenen Anforderungen mit. Aufgrund von modalitätsbedingten Unterschieden zwischen der visuellen und der haptischen Wahrnehmung ist eine Äquivalenz der aus den Graphen ableitbaren Informationen nicht erreichbar. Der Fokus dieser Dissertation liegt darauf, sehbehinderten Benutzern während der haptischen Wahrnehmung eines Graphen zusätzlich verbale Unterstützung als begleitende Modalität zu bieten mit dem Ziel, die Lücke zwischen visuellem und haptischem Graphverstehen zu schließen und kohärente Information bereitzustellen. Das verbal unterstützte Verstehen von haptischen Graphen ist eine aufgabenorientierte gemeinsame Aktivität zwischen zwei Agenten: Einem Menschen, der den Graphen exploriert, d.h. der die Grafik aktiv mittels der haptischen Modalität untersucht, und einem verbale Unterstützung leistenden Agenten, der diesen Prozess für den Entdecker auf einfache Art und Weise erleichtert. Die erfolgreiche Konzipierung eines solchen Systems kann nur aus einer interdisziplinäre Perspektive erreicht werden, die mehrere Mainstream-Forschungsfelder kombiniert, und zwar Graphverstehen, Ereignissegmentierung, Produktion von referentiellen Ausdrücken durch Menschen und automatisierte Systeme, Dynamik innerhalb einer gemeinsamen kooperativen Aktivität und HCI-Aspekte für Effizienz und Effektivität des Systems.
Zu diesem Zweck wurde eine Reihe von empirischen Studien zur visuellen und zur haptischen Wahrnehmung von Graphen, zum Verstehen dieser Graphen und zur Kommunikation über Graphen durchgeführt. Das Verstehen haptischer Graphen und die Affordanzen der kollaborativen Umgebung wurden sowohl durch Einzelbenutzer-Experimente als auch durch Zweipersonen-Experimente (Benutzer + menschlicher Kooperationspartner) unter verschiedenen Forschungsfragen untersucht. Eine systematische Untersuchung der Wechselwirkung zwischen sensorischen, repräsentationellen und kommunikativen Modalitäten beim Graphverstehen spielt die zentrale Rolle für die Realisierung eines automatischen verbalen Assistenzsystems, das erfolgreiche Unterstützung bei der haptischen Erkundung und beim Verstehen von Graphen bereitstellt.

Die wichtigsten empirischen Resultate sind:
• Ohne verbale Unterstützung, hatten die Benutzer von haptischen Graphen häufig Schwierigkeiten beim Graphverstehen aufgrund unvollständigen Wissens in ihren Graph-Schemata, die eine Schlüsselrolle bei der Schaffung einer geeigneter Zuordnung zwischen den graphischen Funktionen und der begrifflichen Ereignis spielt.
• Amodale geometrischen Eigenschaften (wie Form, Größe, Ausrichtung etc.) haben eine starke signifikante Wirkung auf die Event Segmentierung und Beschreibung.
• Die sensorische Modalität der Graphwahrnehmung hat einen Einfluss auf die Produktion von Gesten.
• Eigeninitiative der Explorierenden bei der Anforderung von Assistenz und eine angemessene durch sprachlichen Modifikatoren angereicherte verbale Unterstützung, durch die Assistenten, erweist sich als hilfreiche Kombination für eine gemeinsame Aktivität, die erfolgreiches Graphverstehen ermöglicht.
• Haptische Explorationsmuster (die Geschwindigkeit, die Anzahl der Hin-und-Her-Aktionen auf der Graphlinie, die qualitativen Angaben tragen etc.) können verwendet werden, um den Bedarf von Unterstützung zu erkennen.
• Abgleich auf der Situationsebene und Wahl eines geeigneten Referenzrahmens in Bezug auf das bestehende kommunikative Ziel sind von entscheidender Bedeutung.
• Die Analyse von Gesten hat sich HCI-Forschungsparadigma als sehr effizientes Werkzeug bewiesen, unter anderem bei der Auflösung von Mehrdeutigkeiten in verbalen Daten.
Das aus der Gesamtheit der empirischen Untersuchungen gewonnene und integrierte Wissen konnte für die Entwicklung von Design-Richtlinien genutzt werden, spezifisch für verbal unterstütztes Verstehen haptischer Graphen und im Allgemeinen, für den Entwurf formbasierter haptischer Darstellungen und für Anforderungen an Konstellationen verbaler Assistenz.

Zugriffsstatistik

keine Statistikdaten vorhanden
Legende