Ereigniserkennung während der Exploration linien-basierter Graphiken in virtuellen haptischen Umgebungen

Abstract

Haptische Repräsentationen ermöglichen blinden und sehbehinderten Menschen Zugang zu graphisch dargestellten Informationen. Haptische Wahrnehmung basiert im Gegensatz zur visuellen Wahrnehmung auf aktiven Explorationsbewegungen, sie ist daher sequentiell und lokal. Um den Informationserwerb während einer haptischen Exploration zu unterstützen und die Nachteile der haptischen Wahrnehmung zu kompensieren, kann begleitend zur haptischen Exploration der auditive Sinneskanal genutzt werden, um zusätzliche Informationen zu vermitteln. Diese multimodale Assistenz kann u.a. als verbale Äußerung erfolgen. Als Grundlage für die Auswahl geeigneter, zur Explorationssituation passender Assistenzen, kann ein proaktives Assistenzsystem die Exploration des Benutzers analysieren.

Linien-basierte Graphiken sind graphische Repräsentationen, welche aus Linien und aus Linien gebildeten Objekten bestehen. Sie eigenen sich gut für haptische Exploration in virtuellen Umgebungen, in denen Linien-basierte Graphiken durch Linienverfolgung mittels haptischem Force-Feedback-Gerät exploriert werden. Während der haptischen Interaktion können die Explorationsbewegungen in der virtuellen haptischen Umgebung durch das assistierende System beobachtet werden. Ein wissensbasiertes System verarbeitet diese Beobachtungen und baut inkrementell eine Repräsentation komplexer Explorationsereignisse auf. Als Grundlage für diese Wissensverarbeitung wurde eine domänenunabhängige Repräsentation von linien-basierten Graphiken und Explorationsereignissen entwickelt. Ein regelbasiertes System aggregiert einfache, direkt beobachtete Explorationsereignisse in einem iterativen Prozess zu komplexen Explorationsereignissen, wobei Wissen über die aktuelle Exploration, die Historie der Exploration, die linien-basierte Graphik sowie zeitliches Schließen genutzt wird. Dieser Ansatz bietet die Möglichkeit verbale Assistenz zu generieren, welche zur aktuellen Explorationssituation, repräsentiert durch komplexe Explorationsereignisse, passt. Zum Beispiel kann der Benutzer auf Teile der linien-basierten Graphik hingewiesen werden, die noch nicht exploriert worden sind oder Überblicksinformationen über die Teile der Graphik erhalten, auf die die haptische Exploration fokussiert ist.

Zwei Prototypen für die Anwendungsdomänen der Straßenkarten und der Linien-Graphen sind entwickelt worden, um die Möglichkeiten der wissensbasierten Ereigniserkennung zu demonstrieren. Beide Prototypen umfassen Komponenten zur algorithmischen Erzeugung haptischer Repräsentationen und domänenspezifischer Wissensbasen aus domänen-typischen Datenquellen. Anwendungsdomänenspezifische Regeln steuern die regelbasierte Erkennung komplexer Explorationsereignisse. Der Prototyp für die Exploration haptischer Straßenkarten wurde mit einer Komponente zur Generierung von verbaler Assistenz integriert und erfolgreich evaluiert. Der Prototyp zur Exploration haptischer Linien-Graphen wurde mit einer regelbasierten Generierung verbaler Assistenz erweitert.

Die vorgelegte Arbeit zeigt die Nutzung von Wissensverarbeitung, um die Mensch-Computer-Interkation während der haptischen Exploration durch Erkennung komplexer Explorationsereignisse als Basis für multimodale Assistenz zu verbessern.

Haptic representations offer access to graphical information for blind and visually impaired persons. Haptic perception requires active explorative movements, making haptic perception, in contrast to visual perception, sequential and local. In order to improve the information gain during haptic exploration and to compensate its limitations additional information can be conveyed in the auditory sensory channel, e.g., as verbal utterances. For a proactive assisting system, analyzing the user's exploratory movements can provide the basis for selecting and generating situated verbal assistance.

Line-based graphics are a subset of graphical representations based on lines and objects formed from lines. They are well suited for haptic exploration in virtual environments, where the lines are explored via line following using a haptic force feedback device. Line-based graphics are a class of information graphics that can be used to depict graphics relevant to blind and visually impaired people like street maps or line charts.

During haptic interaction the exploration movements are observed (by the assisting system). A knowledge based system recognizes complex exploration events from these observations. For this purpose knowledge representation and processing were developed that comprise a domain independent representation of line-based graphics and haptic exploration events. A rule based approach is used to aggregate simple, directly observed events into more complex exploration events by using knowledge about the ongoing exploration, past exploration events, the geometry of the line-based graphic and temporal reasoning. This approach offers possibilities for multimodal assistance based on the current exploration situation represented by the recognized complex exploration events. For instance the user can be pointed to parts not yet fully explored or be given overview information on the part of the graphic that the haptic exploration is focused on.

Two prototypes for the domains of street maps and line graphs were developed for demonstrating the capabilities of knowledge based event recognition. Both prototypes feature components to create suitable haptic representations and domain specific knowledge from plausible data sources. Specialized 3D algorithms and spatial reasoning are applied for this purpose. Domain specific rule sets govern the recognition of domain specific exploration events. The prototype for recognizing exploration events during the haptic exploration of street maps has been successfully integrated with a component to generate verbal assistance. The resulting software was evaluated in an empirical study. The prototype for recognizing exploration events during the haptic exploration of line graphs has been extended for rule based generation of verbal assistance based on the knowledge base about the explored line based graphic. These prototypes demonstrate plausible scenarios for aiding blind and visually impaired persons in everyday tasks.

The presented work shows how knowledge processing can be used to improve human computer interaction during haptic exploration by recognizing complex exploration events as the basis for multimodal assistance.