Engagement in Digital Health through Spatial Computing: Applications in Virtual Reality and Intelligent Virtual Agents

Abstract

Engagement is widely recognized as a critical determinant of success in serious games and digital health interventions, yet the term itself is often ambiguously defined and inconsistently operationalized, particularly in emerging domains such as Virtual Reality (VR)-based exergames, and applications employing Intelligent Virtual Agents (IVAs). With VR we refer to immersive, 3D-generated environments which can be experienced through Head-Mounted Displays (HMDs), while IVAs are essentially embodied Artificial Intelligence (AI) agents empowered by Large Language Models (LLMs). This dissertation investigates the multifaceted construct of engagement within Human-Computer Interaction (HCI), focusing on how digital interventions can be intentionally designed to foster and sustain user involvement, motivation, and positive experiences.

Motivated by demographic shifts, notably the increasing proportion of aging populations, and recent technological advances, including the availability of affordable VR headsets and breakthroughs in LLMs, digital health applications now reach wider audiences and offer new opportunities for both preventive and therapeutic use. However, maximizing their impact requires a deeper understanding of how to design for engagement across diverse user groups and contexts.

This work addresses two rapidly evolving areas: (i) the design and evaluation of VR-based exergames for older adults, and (ii) the development and deployment of IVAs as conversational partners in health-related interventions. Through a series of empirical studies, the dissertation explores strategies for promoting engagement, such as errorless learning paradigms to reduce early disengagement in exergames, and empathic feedback or adherence mechanisms in IVAs to foster trust, support, and sustained participation.

Key findings highlight the importance of iterative, Human-Centered Design (HCD) methodologies to accommodate the unique needs of older adults in VR systems, the trade-offs involved in balancing initial onboarding with opportunities for independent skill acquisition, and the challenges of ensuring reliability and empathy in IVAs, especially in sensitive health and therapeutic contexts. The studies also raise critical questions about the ethical deployment of these technologies, the risks of LLM-driven hallucinations, and the need for robust safeguards to preserve user well-being.

By combining the insights from case studies, behavioral psychology, and advances in IVAs, this dissertation contributes to a clearer understanding of engagement mechanisms and offers practical design recommendations for future digital health interventions. The results inform best practices for creating engaging, effective, and inclusive systems that can support health and well-being across diverse populations.

Engagement wird als ein entscheidender Erfolgsfaktor in Serious Games und digitalen Gesundheitsinterventionen anerkannt. Dennoch wird der Begriff selbst häufig uneindeutig definiert und inkonsistent verwendet, insbesondere in aufkommenden Bereichen wie Virtual Reality (VR)-basierten Exergames und Anwendungen mit Intelligent Virtual Agents (IVAs). Mit VR sind immersive, 3D-generierte Umgebungen gemeint, die über HeadMounted Displays (HMDs) erlebt werden können, während IVAs im Wesentlichen verkörperte Artificial Intelligence (AI)-Agenten sind, die durch Large Language Models (LLMs) ermöglicht werden.

Diese Dissertation untersucht das vielschichtige Konstrukt des Engagements innerhalb der Human-Computer Interaction (HCI) und konzentriert sich darauf, wie digitale Interventionen gezielt gestaltet werden können, um Nutzerbeteiligung, Motivation und positive Erfahrungen zu fördern und aufrechtzuerhalten.

Getrieben von demografischen Veränderungen, insbesondere dem wachsenden Anteil älterer Bevölkerungsgruppen, sowie jüngsten technologischen Fortschritten wie der Verbreitung erschwinglicher VR-Headsets und Durchbrüchen bei LLMs, erreichen digitale Gesundheitsanwendungen mittlerweile ein breiteres Publikum und eröffnen neue Möglichkeiten für präventive und therapeutische Einsätze. Um jedoch ihre Wirkung zu maximieren, bedarf es eines tieferen Verständnisses dafür, wie Engagement für unterschiedliche Nutzergruppen und Kontexte gestaltet werden kann.

Diese Arbeit widmet sich zwei sich schnell entwickelnden Bereichen: (i) der Gestaltung und Evaluation von VR-basierten Exergames für ältere Erwachsene und (ii) der Entwicklung und dem Einsatz von IVAs als Gesprächspartner in gesundheitsbezogenen Interventionen. Anhand einer Reihe empirischer Studien untersucht die Dissertation Strategien zur Förderung von Engagement, etwa fehlerfreie Lernparadigmen, um frühzeitiges Aussteigen in Exergames zu reduzieren, sowie empathisches Feedback oder Mechanismen zur Einhaltung in IVAs, um Vertrauen, Unterstützung und nachhaltige Teilnahme zu stärken.

Zentrale Ergebnisse unterstreichen die Bedeutung iterativer, HumanCentered Design (HCD)-Methodologien, um den besonderen Bedürfnissen älterer Erwachsener in VR-Systemen gerecht zu werden, die Abwägungen zwischen anfänglichem Onboarding und Möglichkeiten zum eigenständigen Kompetenzerwerb, sowie die Herausforderungen, Zuverlässigkeit und Empathie in IVAs, insbesondere in sensiblen Gesundheits- und Therapiekontexten, sicherzustellen. Die Studien werfen zudem kritische Fragen zur ethischen Nutzung dieser Technologien, zu Risiken von durch LLMs verursachten Halluzinationen und zum Bedarf robuster Schutzmechanismen zur Wahrung des Nutzerwohls auf.

Durch die Kombination von Erkenntnissen aus Fallstudien, der Verhaltenspsychologie und Fortschritten bei IVAs leistet diese Dissertation einen Beitrag zu einem klareren Verständnis von Engagement-Mechanismen und bietet praxisnahe Gestaltungsempfehlungen für zukünftige digitale Gesundheitsinterventionen. Die Ergebnisse informieren über bewährte Vorgehensweisen zur Entwicklung ansprechender, wirkungsvoller und inklusiver Systeme, die Gesundheit und Wohlbefinden in diversen Bevölkerungsgruppen unterstützen können.