The Virtual Hand and Beyond: Analyzing Factors of Embodiment and Development of Alternative Input Techniques

Abstract

A natural way to interact with our environment is to use the hands, such as for object manipulation when using a pen or a fork or communicating with others via gesturing or signing. While for many years head-mounted Displays (HMDs) could only be operated with specific motion controllers, in the last few years more and more devices also support built-in hand tracking to provide a more natural way of interacting inside the virtual environment (VE). Such virtual hands can feel incredibly real: When a virtual hand is exposed to a potential threat, electroencephalography (EEG) measures show patterns that are similar to threat reactions on one’s own body [90]. In the context of virtual reality (VR), this illusion is known as Sense of Embodiment (SoE). This thesis investigates interaction techniques in VR that concern the hands in two ways. First, we explore possible influencing factors of the virtual hand illusion: The appearance of virtual hands, in terms of realism (ranging from abstract, like a floating sphere, to photorealistic) and anthropomorphism (ranging from less humanoid to human), as well as the role of redirection sensitivity towards redirected hand motions. In the second part, we then consider novel ways how interaction with HMDs can be done beyond hand-based input. Here we investigate the role of the secondary hand in bimanual tasks, and we explore how other body parts, like the feet, could be used to interact in VEs.

Eine natürliche Art, mit unserer Umwelt zu interagieren, ist der Einsatz der Hände, z.B. bei der Handhabung von Gegenständen, beim Gebrauch eines Stifts oder einer Gabel oder bei der Kommunikation mit anderen durch Gesten oder Gebärden. Während Head-Mounted Displays (HMDs) lange Zeit nur mit speziellen Controllern bedient werden konnten, unterstützen immer mehr Geräte auch integriertes Hand-Tracking, um eine natürlichere Art der Interaktion in der virtuellen Umgebung zu ermöglichen. Solche virtuellen Hände können sich unglaublich real anfühlen: Wenn eine virtuelle Hand einer potenziellen Bedrohung ausgesetzt ist, zeigen Elektroenzephalographie (EEG)-Messungen Muster, die der Reaktion auf die Bedrohung des eigenen Körpers ähneln [90]. Im Kontext von Virtueller Realität (VR) wird diese Illusion als Sense of Embodiment (SoE) bezeichnet. In dieser Arbeit werden Interaktionstechniken in VR, die die Hände betreffen, auf zwei Arten untersucht. Erstens erforschen wir mögliche Einflussfaktoren der virtuellen Handillusion: das Erscheinungsbild der virtuellen Hände in Bezug auf Realismus (von abstrakt, wie eine schwebende Kugel, hin zu fotorealistisch) und Anthropomorphismus (von wenig humanoid hin zu menschlich) sowie die Rolle der Sensitivität gegenüber Bewegungsveränderung zwischen realer und virtueller Hand. Im zweiten Teil betrachten wir dann neue Wege, wie die Interaktion mit HMDs über die handbasierte Eingabe hinaus erfolgen kann. Hier untersuchen wir die Rolle der zweiten Hand bei zweihändigen Aufgaben und erforschen, wie andere Körperteile, z.B. die Füße, für die Interaktion in virtuellen Umgebungen genutzt werden können.