Immersive Inscribed Spaces: Spatial Interaction Techniques for Understanding Written Artefacts

Abstract

Written Artefacts (WA), a cover term for artifacts created by humans, such as written manuscripts and inscriptions, are an important part of our cultural heritage. In this dissertation, we introduce the concept of Immersive Inscribed Spaces (IIS), which are immersive, interactive virtual reality (VR) applications based on real historical sites that contain WA. The research for this dissertation was carried out in the scope of two cross-disciplinary projects at the Cluster of Excellence “Understanding Written Artefacts”, where we explored the application of immersive technologies for the study of WA.

Our work addresses the user requirement analysis, feature implementation, the development of spatial interaction techniques, and iterative empirical evaluations: (i) We investigated how interactive, immersive applications for this context can be designed and how they can provide new perspectives for the spatial understanding of WA. We describe our technical setup and implementation of the IIS, including the integration of research data for the hundreds of WA. Since the WA are spatially located inside true-to-scale 3D representations of the historical sites, we explored spatial interaction techniques for interacting with them. (ii) We designed and evaluated four variants of spatial UI panels for reading and interacting with long texts, based on two established desktop UI patterns, continuous scrolling and discrete pagination. Our evaluation showed that desktop UI patterns can be transferred and used for spatial text display in VR applications. (iii) Afterward, we worked on facilitating precise pointer-based selection for small and distant objects. We implemented an assistive raycasting interaction technique that gradually redirects the raycast of the pointer towards the target center to support users with spatial selection. We designed three techniques with one straight and two curved pointers for visualizing the raycast. The findings of our standardized evaluation with a Fitts’ Law selection task suggest that the concept of redirection can be successfully applied to raycasting for spatial interactions. Our results revealed that redirected raycasting was faster, achieved higher effective throughput, and had decreased perceived workload compared to raycasting without assistance. The sense of agency was not negatively affected by the redirection, but individual user preferences seem to influence the preferred type of raycast visualization. (iv) We further extended redirection to hand-anchored raycasting, so-called Hand-Rays, and implemented two techniques, (a) based on the previous redirection and (b) an extension using gaze for redirecting the raycast. Our Fitts’ Law evaluation confirmed that both techniques improved selection performance and reduced perceived workload in comparison to selection without redirection. However, our findings indicate that performance for technique (b) deteriorated with increased target depth. The subjective feedback revealed different selection strategies that might have caused mismatched timings between gaze-targeting and selection confirmation with the hand gesture. (v) Finally, we focused on eye-tracking-based spatial interaction. We developed Gaze&Blink, a hands-free technique to support discrete selection and continuous interaction tasks, such as scrolling and drag-and-drop. Blinking is used for selections and winking (closing one eye) in combination with head rotations for performing scroll and drag interactions. We evaluated Gaze&Blink against the established Gaze&Pinch technique, which uses gaze for targeting and a pinch gesture for selection. Our technique had comparable performance and subjective measures and could be a viable hands-free alternative interaction technique.

A final pilot project demonstrated that the concept of IIS can be transferred to other WA locations. Our work serves as an initial starting point for creating immersive applications for this novel context. Our findings provide learnings, insights, and recommendations for the design and implementation of spatial interaction techniques and the application of redirection for facilitating spatial interaction. We provide an outlook on future work on the application of immersive technologies and their potential for promoting interest and understanding of WA, both in an academic context and beyond.

Written Artefacts (WA), ein Oberbegriff für von Menschen geschaffene, schriftliche Artefakte wie Manuskripte und Inschriften, sind ein wichtiger Teil unseres kulturellen Erbes. In dieser Dissertation stellen wir das Konzept der Immersive Inscribed Spaces (IIS) vor, bei denen es sich um immersive, interaktive Virtual Reality (VR) Anwendungen handelt, die auf realen historischen Stätten basieren, welche schriftliche Artefakte enthalten. Die Forschung für diese Dissertation wurde im Rahmen von zwei interdisziplinären Projekten am Exzellenzcluster „Understanding Written Artefacts“ durchgeführt, in denen wir die Anwendung immersiver Technologien für die Untersuchung von WA erforschten.

Unsere Arbeit befasst sich mit der Analyse der Benutzeranforderungen, der Implementierung von Funktionen, der Entwicklung räumlicher Interaktionstechniken und iterativen empirischen Evaluationen: (i) Wir haben untersucht, wie interaktive, immersive Anwendungen für diesen Kontext gestaltet werden können und wie sie neue Perspektiven für das räumliche Verständnis von WA bieten können. Wir beschreiben unseren technischen Aufbau und die Umsetzung der IIS, einschließlich der Integration von Forschungsdaten für hunderte von WA. Da sich die WA räumlich innerhalb maßstabsgetreuer 3D-Repräsentationen der historischen Stätten befinden, haben wir räumliche Interaktionstechniken für die Interaktion mit ihnen erforscht. (ii) Wir entwarfen und evaluierten vier Varianten von räumlichen UI-Tafeln zum Lesen und Interagieren mit langen Texten, basierend auf zwei etablierten Desktop-UI-Pattern, kontinuierlichem Scrollen und diskreter Paginierung. Unsere Studie zeigte, dass Desktop-UI-Pattern für die räumliche Textanzeige in VR-Anwendungen übertragen und verwendet werden können. (iii) Anschließend arbeiteten wir daran, die präzise Zeiger-basierte Selektion für kleine und weit entfernte Objekte zu erleichtern. Wir implementierten eine assistive Raycasting-Interaktionstechnik, die den Raycast des Zeigers graduell auf das Zielzentrum umlenkt, um Benutzer bei der räumlichen Selektion zu unterstützen. Wir entwickelten drei Techniken mit einem geraden und zwei gebogenen Zeigern zur Visualisierung des Raycasts. Die Ergebnisse unserer standardisierten Auswertung mit einer Selektionaufgabe nach Fitts’ Gesetz deuten darauf hin, dass das Konzept der Umlenkung (redirection) erfolgreich auf Raycasting für räumliche Interaktionen angewendet werden kann. Unsere Ergebnisse zeigten, dass umgelenktes Raycasting schneller war, einen höheren effektiven Durchsatz (effective throughput) erzielte und die wahrgenommene Arbeitsbelastung im Vergleich zu Raycasting ohne Unterstützung verringerte. Dabei wurde das Gefühl der Handlungsfähigkeit (sense of agency) durch die Umlenkung nicht negativ beeinflusst. Jedoch scheinen individuelle Benutzerpräferenzen einen Einfluss auf die bevorzugte Art der Raycast-Visualisierung zu haben. (iv) Wir weiteten den Einsatz von Umlenkung weiter auf handverankertes Raycasting, sogenannte Hand-Rays, aus und implementierten zwei Techniken, (a) basierend auf der vorherigen Umlenkung und (b) eine Erweiterung, die den Blick zur Umlenkung des Raycasts verwendet. Unsere Auswertung nach Fitts’ Gesetz bestätigte, dass beide Techniken die Selektionsleistung verbesserten und die wahrgenommene Arbeitsbelastung im Vergleich zur Selektion ohne Umlenkung verringerten. Unsere Ergebnisse deuten jedoch darauf hin, dass sich die Leistung bei Technik (b) mit zunehmender Distanz zum Ziel verschlechtert. Das subjektive Feedback zeigte, dass unterschiedliche Selektionstrategien möglicherweise zu zeitlichen Diskrepanzen zwischen dem Anvisieren des Ziels mit den Augen und der Bestätigung der Selektion durch die Handgeste geführt haben könnten. (v) Schließlich konzentrierten wir uns auf Eye-Tracking basierte räumliche Interaktion. Wir entwickelten Gaze&Blink, eine freihändige Technik für diskrete Selektion und kontinuierliche Interaktionsaufgaben, wie Scrollen und Drag-and-Drop. Blinzeln wird für die Ausführung von Selektionen und Zwinkern (Schließen eines Auges) in Kombination mit Kopfdrehungen für Scroll- und Drag-Interaktionen verwendet. Wir haben Gaze&Blink mit der etablierten Gaze&Pinch Technik verglichen, die den Blick zum Zielen und eine Pinch-Geste zur Selektion verwendet. Unsere Technik wies eine vergleichbare Leistung und subjektive Bewertungen auf und könnte eine geeignete freihändige alternative Interaktionstechnik darstellen.

Ein abschließendes Pilotprojekt zeigte, dass das Konzept von IIS auf andere Orte mit WA übertragen werden kann. Unsere Arbeit dient als Ausgangspunkt für die Entwicklung immersiver Anwendungen für diesen neuen Kontext. Unsere Ergebnisse liefern Learnings, Erkenntnisse und Empfehlungen für die Gestaltung und Umsetzung räumlicher Interaktionstechniken und den Einsatz von Umlenkung zur Unterstützung räumlicher Interaktion. Wir geben einen Ausblick auf zukünftige Arbeiten zur Anwendung immersiver Technologien und deren Potenzial, das Interesse und Verständnis für WA zu fördern, sowohl in einem akademischen Kontext als auch darüber hinaus.