Development and Evaluation of Immersive User Interfaces for Cognitive and Physical Training

Abstract

Healthy aging is important to live a fulfilling, independent life. This includes, among others, striving for a good psychological, cognitive, and physical well-being. In order to remain active as long as possible, it is important to continuously promote these aspects of health. One possibility to do this is through virtual reality (VR) exergames -- applications that combine exercise and gaming to create a motivating approach, fostering long-term adherence. In order for them to show the desired effects, they need to be designed in a way that is understandable, operable, and motivating.

This dissertation investigated the effect of different VR exergames and design decisions on the user experience of older adults, aiming to answer the research question how to design immersive cognitive-physical training for older adults. In five user studies and one systematic literature review, different aspects of VR exergames were investigated. The first study was conducted with older adults with mild dementia, and evaluated an exergame over the course of nine weeks for its effectiveness in improving psychological, cognitive and physical well-being. In a second study, another exergame was compared to traditional video-based training with older adults without dementia, aiming to determine whether these two approaches are comparable. The third study examined the effects of different dynamic difficulty adjustments with younger and older adults, and identified transferabilities and differences between these two user groups.

Further, one aspect of VR exergames was investigated in more depth: The integration of intelligent virtual agents (IVAs). With a systematic literature review, the usage and preferences regarding IVAs in the healthcare domain were investigated. We then conducted a user study to compare the effect of agent visibility on task performance, and social presence. In a final user study, we integrated an IVA communicating with the help of GPT-4o into a VR exergame and evaluated the user experience, communication and preferences of older adults.

The results of this dissertation show that VR exergames can improve psychological, cognitive, and physical well-being, and that they are comparable to video-based exercises. Further, it shows that in the design of VR applications for older adults, a multitude of considerations have to be taken into account, which largely depend on the user group and the context of the application. This emphasizes the need to integrate the end users in the design and evaluation process and to continue research in this important area.

Gesundes Altern ist wichtig, um ein erfülltes, unabhängiges Leben zu führen. Um so lange wie möglich aktiv zu bleiben, ist es wichtig, gesundheitliche Aspekte wie das psychologische, kognitive und körperliche Wohlbefinden kontinuierlich zu fördern. Eine Möglichkeit, dies zu tun, sind Exergames in der virtuellen Realität (VR): Anwendungen, die Bewegungen und Spiele kombinieren, um einen motivierenden Ansatz zu schaffen, der eine langfristige Aufrechterhaltung des Trainings fördert. Damit sie die gewünschten Effekte zeigen, müssen die Exergames so gestaltet sein, dass sie verständlich, bedienbar und motivierend sind.

Diese Dissertation untersucht den Effekt verschiedener VR Exergames und Designentscheidungen auf die Nutzungserfahrung älterer Erwachsener. Die Forschungsfrage, welche in fünf Nutzungsstudien und einem systematischen Literaturreview untersucht wurde, beschäftigt sich damit, wie man immersives kognitiv-physisches Training für ältere Erwachsene gestalten kann. Die erste Studie wurde mit älteren Erwachsenen mit leichter Demenz durchgeführt und bewertete ein Exergame über einen Zeitraum von neun Wochen hinsichtlich seiner Wirksamkeit zur Verbesserung des psychologischen, kognitiven und körperlichen Wohlbefindens. In einer zweiten Studie wurde ein Exergame mit traditionellem videobasiertem Training verglichen, um herauszufinden, ob diese beiden Ansätze vergleichbar sind. Die dritte Studie untersuchte die Auswirkungen verschiedener dynamischer Schwierigkeitsanpassungen von Exergames bei jungen und älteren Erwachsenen und identifizierte Übertragungsmöglichkeiten und Unterschiede zwischen diesen beiden Nutzer:innengruppen.

Darüber hinaus wurde ein Aspekt von VR Exergames näher untersucht: die Integration intelligenter virtueller Agenten (IVAs). In einem systematischen Literaturreview wurden die Nutzung und die Präferenzen bezüglich IVAs im Gesundheitsbereich untersucht. Anschließend wurde eine Nutzungsstudie durchgeführt, um den Effekt der Sichtbarkeit von Agenten auf die Leistung bei kognitiv-physischen Aufgaben und die wahrgenommene soziale Präsenz zu vergleichen. In einer abschließenden Nutzungsstudie wurde ein IVA, der mit Hilfe von GPT-4o kommuniziert, in ein VR Exergame integriert und die Nutzungserfahrung, die Kommunikation und die Präferenzen älterer Erwachsener wurde evaluiert.

Die Ergebnisse dieser Dissertation zeigen, dass VR Exergames das psychologische, kognitive und körperliche Wohlbefinden von älteren Erwachsenen verbessern können und dass sie mit videobasierten Übungen vergleichbar sind. Darüber hinaus zeigen sie, dass bei ihrer Gestaltung eine Vielzahl von Betrachtungen zu berücksichtigen ist, die weitgehend von der Nutzer:innengruppe und dem Anwendungskontext abhängen. Dies betont die Notwendigkeit, die Endnutzer:innen in den Design- und Evaluationsprozess miteinzubeziehen um dieses wichtige Thema weiter zu erforschen.