![Volltextdatei(en) vorhanden Volltextdatei(en) vorhanden](/image/Document-icon-128x128.png)
Titel: | Verbal Assistance with Virtual Tactile Maps : a Multi-Modal Interface for the Non-Visual Acquisition of Spatial Knowledge | Sonstige Titel: | Verbale Assistenz für virtuelle taktile Karten : eine multi-modale Mensch-Computer-Schnittstelle für den nicht-visuellen Erwerb von räumlichem Wissen | Sprache: | Deutsch | Autor*in: | Lohmann, Kris | Schlagwörter: | Mensch-Computer-Interaktion; Karte für sehbehinderte Menschen; taktile Karte; verbale Assistenz; Sprachgenerierung; human computer interaction; verbal assistance; tactile maps; map for visually impaired people; natural language generation | GND-Schlagwörter: | Generierung Sprache Sehbehinderung Hilfsmittel Karte |
Erscheinungsdatum: | 2012 | Tag der mündlichen Prüfung: | 2013-04-15 | Zusammenfassung: | The non-visual access to overview information about spatial environments is highly important for blind and visually impaired people. Tactile maps explored by touch can be used as substitutes for visual maps, yet, it is harder to acquire information from them than from visual maps. This thesis discusses an interface that combines situated natural-language assistance and virtual variants of tactile maps to facilitate non-visual acquisition of spatial knowledge. The haptic part of the interface, virtual tactile maps, is perceived by a map user using a haptic human-computer device. Previous empirical work on the effectiveness of combining assisting utterances and tactile maps is limited. A set of assisting utterances for such an interface, specified based on a corpus study, is presented. Aside from information that allows to identify objects (such as: “This is the crossing between Broadway and 1st Avenue”), the set contains utterances informing the user about the local surroundings (such as: “Broadway is leftwards restricted by the map frame and forms a dead end to the right. Above Broadway, there is the town hall. ...”). An evaluation of the effectiveness of assisting utterances to facilitate non-visual spatial knowledge acquisition from virtual tactile maps is discussed. Three controlled experiments were conducted with blindfolded sighted and a mixed group of blind and visually impaired participants, who are the potential user group. The empirical results show that, in general, assisting utterances facilitate the non-visual acquisition of knowledge from virtual tactile maps. This shows the potential of the combination of modalities to communicate information non-visually. Blind and visually impaired people acquire more knowledge from virtual tactile maps receiving assisting utterances than when they only receive information about the names of objects verbally. The empirical results show that blindfolded sighted people perform differently than blind and visually impaired people. A second goal of this thesis addresses the technical possibility of a system that generates assisting utterances as proposed. Such assisting utterances for explorations of virtual tactile maps are situated; that is, their content depends on the context of their articulation. The generation of situated assisting utterances is a technically challenging task, to which a solution is discussed. With respect to the technical plausibility of the assistance-generation system, an architecture for such a system is presented. This thesis is centered on the language-generation component of the system. Depending on the component detecting hand movements, the timing of the input to the generation component can vary. It is shown that a prototype of the generation component is robust against differently timed input. Furthermore, it is shown that the component works when integrated in a prototype of the complete system. To sum up, the results show the potential and the practicability of using natural language in combination with virtual haptics to present spatial information non-visually. The results imply that blind and visually impaired people are able to acquire integrated spatial knowledge. Furthermore, the results point towards differences in the integration of spatial language and haptic information between visually impaired and sighted people. Der nicht-visuelle Zugang zu Informationen über räumliche Umgebungen ist äußerst wichtig für blinde und sehbehinderte Menschen. Erfühlbare taktile Karten ermöglichen den nicht-visuellen Zugang zu Informationen, sind aber schwerer zu erfassen als visuelle Karten. Diese Dissertation beschäftigt sich mit einem Interface, dass sprachliche Assistenz und virtuelle taktilen Karten kombiniert und so den Erwerb von Überblickswissen für blinde und sehbehinderte Menschen vereinfacht. Der haptische Teil des Interfaces, virtuelle taktile Karten, kann mit einer haptischen Mensch-Computer-Schnittstelle wahrgenommen werden. Die bisherigen empirischen Ergebnisse, die sich mit der Kombination von räumlicher Sprache und taktilen Karten auseinandersetzen, sind begrenzt. Ein Set assistierender Äußerungen, das auf der Basis einer Korpus-Studie erstellt wurde, wird diskutiert. Neben Informationen, die es erlauben Objekte zu identifizieren, vermitteln die Äußerungen zum Beispiel Informationen über die lokale Umgebung des Kartenobjekts. Eine Evaluation der Effektivität assistierender Äußerungen zur Vereinfachung des nicht-visuellen Wissenserwerbs wird vorgestellt. Dazu wurden drei Experimente mit sehenden Teilnehmern mit verbundenen Augen und mit blinden und sehbehinderten Teilnehmern durchgeführt. Die empirischen Ergebnisse zeigen, dass sprachliche Assistenz den nicht-visuellen Wissenserwerb im Allgemeinen unterstützt. Dies zeigt das Potential der Kombination der Modalitäten, Informationen nicht-visuell zu vermitteln. Blinde und sehbehinderte Menschen bilden die potentielle Benutzergruppe. Sie erwerben mehr Wissen von virtuellen taktilen Karten, wenn sie entsprechende assistierende Äußerungen erhalten, als wenn sie nur Informationen über die Namen der Kartenobjekte erhalten. Die letztere Verwendung von sprachlichen Äußerungen ist vergleichbar zu früheren audio-taktilen Karten-Systemen. Die Resultate zeigen auch, dass sehende Menschen und blinde und sehbehinderte Menschen sich im Wissenserwerb unterscheiden. Ein zweites Forschungs-Ziel befasst sich mit der technischen Machbarkeit eines Systems, das automatisch sprachliche Assistenz generiert. Assistierende Äußerungen sind situiert, das heißt, ihr Inhalt hängt vom Kontext der Artikulation ab. Die Generierung situierter assistierender Äußerungen ist eine technisch anspruchsvolle Aufgabe, für die eine Lösung beschrieben wird. Es wird eine Architektur für ein System, das sprachliche Assistenz generiert, präsentiert. Diese Arbeit fokussiert auf die Sprach-Generierungs-Komponente eines solchen Systems. Es wird gezeigt, dass sich der Prototyp der Komponente robust gegenüber verschiedenen Input-Typen verhält und dass er im Gesamtsystem funktioniert. Zusammengefasst zeigen die Resultate das Potential und die Umsetzbarkeit der Nutzung von Sprache in Kombination mit haptischen Schnittstellen zur nicht-visuellen Darstellung von räumlicher Information. Die Ergebnisse zeigen die Fähigkeit von sehbehinderten Menschen, integriertes räumliches Wissen zu erwerben. Des Weiteren deuten die Ergebnisse darauf hin, dass sehbehinderte Menschen Sprache und haptische Darstellungen anders integrieren als sehende Menschen. |
URL: | https://ediss.sub.uni-hamburg.de/handle/ediss/4967 | URN: | urn:nbn:de:gbv:18-62407 | Dokumenttyp: | Dissertation | Betreuer*in: | Habel, Christopher (Prof. Dr.) |
Enthalten in den Sammlungen: | Elektronische Dissertationen und Habilitationen |
Dateien zu dieser Ressource:
Datei | Beschreibung | Prüfsumme | Größe | Format | |
---|---|---|---|---|---|
Dissertation.pdf | 777603cdf6f560ede737bac5a508a933 | 4.95 MB | Adobe PDF | Öffnen/Anzeigen |
Diese Publikation steht in elektronischer Form im Internet bereit und kann gelesen werden. Über den freien Zugang hinaus wurden durch die Urheberin / den Urheber keine weiteren Rechte eingeräumt. Nutzungshandlungen (wie zum Beispiel der Download, das Bearbeiten, das Weiterverbreiten) sind daher nur im Rahmen der gesetzlichen Erlaubnisse des Urheberrechtsgesetzes (UrhG) erlaubt. Dies gilt für die Publikation sowie für ihre einzelnen Bestandteile, soweit nichts Anderes ausgewiesen ist.
Info
Seitenansichten
730
Letzte Woche
Letzten Monat
geprüft am 26.04.2024
Download(s)
101
Letzte Woche
Letzten Monat
geprüft am 26.04.2024
Werkzeuge