A Haptic-audio Human-Computer Interface : Acquisition of Indoor Spatial Knowledge by Visually Impaired People

Abstract

For the visually impaired it is important to acquire knowledge about environments in advance. Haptic-audio interfaces have been proven as appropriate to repre- sent certain types of spatial knowledge in a non-visual manner. This dissertation elaborates on a haptic-audio interface that supports non-visual spatial knowledge acquisition of indoor environments. Three representational layers relevant for acquisition of indoor spatial knowl- edge using the haptic-audio interface are defined in the following: (a) knowledge concerning room access and the layout of individual rooms and whole flats, (b) knowledge about the location of functional facilities (such as, windows, radiators, and power-outlets), and (c) knowledge regarding the position of furniture. In corre- spondence, three research questions were investigated, namely (i) how to represent boundaries among areas and access to areas, (ii) how to represent linear spatial overlapping aroused by the presence of functional facilities, and (iii) how to represent 2-D spatial overlapping aroused by furniture pieces in rooms. Based on these considerations, a haptic-audio interface is implemented as non-visual floor plans that can be perceived with the PHANToM virtual force feedback device. In order to discuss the research questions mentioned above, a user-centered research methodology is employed in this dissertation. User behavior was observed and evaluated with help of usability studies. Users requirements and expectations were investigated through focus group studies. Based on empirical analyses of the three representation layers of the haptic-audio interface, this dissertation represents room access and layout of an indoor environment through virtual haptic models. Linear spatial overlaps are represented with the support of sonification. Further more, a two-phase haptic-audio exploration strategy is proposed to acquire spatial knowledge involving 2-D spatial overlapping: In the first phase, the floor plan on display is unfurnished and the functional facilities are sonified. Then in the second phase, virtualization of furniture pieces is further displayed. The empirical results show that spatial knowledge of room-access and layouts of indoor environments can be acquired by visually impaired people through exploration in haptic-audio virtual environment. Plausibility of acquiring spatial knowledge involving linear overlapping and 2-D overlapping is also presented.

Für sehbehinderte Menschen ist es wichtig, vorzeitig räumliches Wissen über Umge- bungen zu erwerben. Haptisch-akustische Schnittstellen haben sich für die nichtvisuelle Darstellung gewisser Arten räumlichen Wissens als geeignet erwiesen. Diese Dissertation stellt eine haptisch-akustische Schnittstelle vor, welche die Aneignung nichtvisuellen räumlichen Wissens über Innenumgebungen unterstützt. Drei Präsentationsebenen für den Erwerb räumlichen Wissens mit Hilfe der haptisch-akustischen Schnittstelle werden definiert: (a) Wissen über die Zugänglichkeit sowie Lage und Anordnung von Räumen und ganzen Wohnungen, (b) Wissen über die Lage funktionaler Einrichtungen (wie Fenster, Heizkörper und Steck-dosen) und (c) Wissen über die Lage von Möbelstücken. Dementsprechend werden drei Forschungsfragen gestellt, nämlich nach der geeignetsten Darstellung (i) von Grenzen und Zugänglichkeit von Gebieten, (ii) von linearer räumlicher Überlappung aufgrund der Anwesenheit mehrerer funktionaler Einrichtungen und (iii) von 2D-Überlappungen aufgrund der Anwesenheit mehrerer Möbelstücke. Eine entsprechende haptisch-akustische Schnittstelle für nichtvisuelle Grundrisse wird implementiert, welche mit dem PHANTOM Force-Feedback-Gerät benutzt werden kann. Um die oben gestellten Forschungsfragen zu bearbeiten, wird in dieser Arbeit eine nutzerzentrierte Methodologie verwendet. Das Nutzerverhalten wurde durch Usability-Studien beobachtet und ausgewertet. Nutzeranforderungen und -erwartungen wurden durch Fokusgruppenstudien untersucht. Aufgrund von empirischen Analysen der drei Präsentationsebenen der haptisch-akustischen Schnittstelle werden in dieser Dissertation die Zugänglichkeits- und Lageinformationen von Innenumgebungen durch virtuelle haptische Modelle repräsentiert. Die lineare räumliche Überlappung wird mit Hilfe von Sonifizierung dargestellt. Um die Erfassungvon2D-Überlappungenzuunterstützen, wirdeinezweiphasigehaptisch-akustische Explorationsstrategie vorgeschlagen: In der ersten Phase wird nur ein Grundriss ohne Möbel, jedoch mit funktionalen Einrichtungen präsentiert. In der zweiten Phase kommen dann Repräsentationen von Möbelstücken hinzu. Die empirischen Ergebnisse zeigen, dass sehbehinderte Menschen durch Exploration einer virtuellen haptisch-akustischen Umgebung räumliches Wissen über Raumzugänglichkeit, Lage und Anordnung in Innenumgebungen erwerben können. Ebenfalls wird es präsentiert, dass Nutzer räumliches Wissen über lineare und 2D-Überlappungen erwerben konnen.