Super-Natural Interaction: An Enactivism-Based Conceptualization and Applications in Immersive Telementoring

Abstract

Immersive virtuelle Umgebungen ermöglichen die Implementierung von Interaktionstechniken, die nicht in der Realität genutzt werden können. Für einen virtuellen Avatar, der nicht durch die Gesetzte der realen Welt eingeschränkt wird, ist es einfach, zu fliegen, sich zu teleportieren oder Objekte aus der Ferne durch Telekinese zu manipulieren. Diese Form der nichtrealistischen Interaktion wird unter anderem als “super-natürlich” (engl. “super-natural”) bezeichnet. Die Nutzung dieses Begriffs in der Forschung is jedoch nicht unproblematisch, da es keine präzise Definition für diesen Begriff gibt und das Konzept häufig nur auf einer technischen Ebene mit einem Fokus auf objektive Faktoren beschrieben wird, ohne die subjektive Effekte auf Nutzer zu betrachten. Zusätzlich existieren weitere Begriffe, die, auf einer konzeptionellen Ebene, genutzt werden, um ähnliche Ideen zu beschreiben, beispielsweise “magisch”, “nicht isomorph”, oder “Superkräfte“. Eine klare Abgrenzung wird nicht vorgenommen und die Nutzung erfolgt scheinbar willkürlich und austauschbar.

In dieser Dissertation werden die Eigenschaften und Implikationen von super-natürlicher Interaktion untersucht, um das Konzept tiefergehend zu beschreiben. Das Ziel ist, herauszuarbeiten, was diesen Ansatz für Interaktionsdesign vorteilhaft macht und den wissenschaftlichen Diskurs hin zu subjektiven und phänomenologischen Effekten zu öffnen. Die Thesis ist in zwei Teile geteilt; der erste präsentiert eine auf Enaktivismus basierende Konzeptualisierung, der zweite die Anwendung von super-natürlicher Interaktion im Kontext von immersivem Telementoring.

Im ersten Teil der Thesis werden Konzepte entwickelt, die von Enaktivismus und verwandten Forschungsbereichen wie Post-Phänomenologie, Pattern Theory of Self und Schematheorie abgeleitet werden, um die Kernaspekte von super-natürlicher Interaktion herauszuarbeiten. Verschiedene Konzepte werden in ein konzeptionelles Framework zusammengefügt, das i) die Klassifikation von Interaktionstechniken anhand von den vorgeschlagenen Eigenschaften Internalisierbarkeit (Internalizability), Kongruenz (Congruence) und Verbesserung (Enhancement) erlaubt und ii) die Abgrenzung der Begriffe untereinander ermöglicht. Insgesamt bietet die vorgestellte Konzeptualisierung ein Framework, das genutzt werden kann, um Mensch-Computer-Interaktion auf einer subjektiven und phänomenologischen Ebene mit einem starken Fokus auf körperliche Aspekte zu untersuchen, was die objektivistische Perspektive, die typischerweise in der Forschung zu Mensch-Computer- Interaktion eingenommen wird, komplementiert.

Im zweiten Teil wird die Anwendung super-natürlicher Interaktion im Kontext von Herztransplantationen als wichtiger Anwendungsfall in der realen Welt untersucht. Supernatürliche Interaktionstechniken werden häufig in experimentellen Systemen oder im Kontext von Gaming eingebunden. Eine Nutzung zur Unterstützung von Aktivitäten in der realen Welt kann hingegen herausfordernd sein. Insbesondere in der medizinischen Anwendung sind Operateure und Experten oft nicht von der Anwendung von VR-Technologie überzeugt. Um die Herausforderungen bei der Einführung von VR Technologie systematisch zu beschreiben, wird das ESTA Framework präsentiert. Zur Untersuchung supernatürlicher Interaktionstechniken, wurde als erster Schritt ein mobiler Prototyp entwickelt, der als Plattform zur Implementierung super-natürlicher Interaktionstechniken dient. Im zweiten Schritt werden neuartige super-natürliche Interaktionstechniken, die auf die Anforderungen im immersiven Telementoring zugeschnitten sind, vorgestellt und evaluiert, um zu überprüfen, ob sie in diesem Kontext einen sinnvollen Ansatz darstellen.

Immersive virtual environments (IVEs) enable the implementation of interaction techniques that are not feasible in the physical world. For a virtual avatar in a virtual world that is not limited to the laws of the real world, it is a simple task to fly, teleport, or interact with remote objects through telekinesis. This type of interaction has been called “supernatural” interaction. However, a precise definition of “super-natural” is still lacking in current research, and the concept is usually only described on a technical level with a focus on objective qualities and without considering the induced subjective effects on the user. Moreover, other terms exist that, on a conceptual level, are used to describe similar ideas, such as “magic,” “non-isomorphism,” or “superpowers.” Currently, these terms are used interchangeably and without clear delineation.

In this dissertation, the nature and implications of super-natural interaction are explored to further characterize this concept, with the goal of clarifying what makes this approach to interaction design beneficial and opening the scientific discourse toward subjective and phenomenological effects. The thesis is divided into two parts; the first presents an enactivism-based conceptualization, and the second presents applications of super-natural interaction in immersive telementoring.

In the first part of this thesis, concepts that describe the constituents of “super-natural” interaction are developed from an enactivism-inspired perspective, including related fields of philosophy and cognitive science, such as post-phenomenology, pattern theory of self, and schema theory. These concepts are combined in a conceptual framework that allows for i) the classification of interaction techniques based on the proposed properties internalizability, congruence, and enhancement, and ii) the delineation of diverse types of interaction techniques from one another. Overall, the presented conceptualization provides a framework for analyzing human-computer interaction on a subjective and phenomenological level, with a strong focus on embodiment, which complements the objectivist perspective typically considered in the field of human-computer interaction.

In the second part, the application of super-natural interaction techniques is analyzed in the context of heart transplantation as an important real-world application. Super-natural interaction techniques are often implemented in experimental setups or in the context of gaming. Applying these concepts to support real-life activities, however, can be challenging. Especially in the medical domain, surgeons and health professionals remain reluctant to use virtual reality (VR) technology. To systematically describe the challenges of introducing VR technology as a transformative technological intervention, we present the ESTA framework and apply it in the context of heart transplantation. Super-natural interaction techniques seem promising in enabling the efficient performance of tasks without a steep learning curve, which mitigates difficulties in handling VR technology in the medical domain. As a first step in analyzing the use of super-natural interaction techniques, a mobile prototype system for immersive telementoring has been developed that provides a platform for novel interaction techniques. As a second step, novel super-natural interaction techniques tailored for exploration and annotation tasks in immersive telementoring are presented and evaluated to determine if this approach is reasonable in this context.