Towards a Particle Accelerator Metaverse: Mixed Reality Interfaces for Operations of Complex Physics Facilities

Abstract

Large-scale physics facilities such as particle accelerators and high-power lasers are important laboratory equipment for industrial processes and scientific research. However, they also present some of the most demanding human-computer interaction (HCI) challenges in facility control and maintenance. In recent years, the rise of mixed reality (MR) technology started to transform everyday HCI from conventional 2D user interfaces (UIs) and monitors to 3D spatial UI and immersive head-mounted displays (HMDs). Accompanied by the rapid advancement of computer vision, artificial intelligence (AI), and robotics, the availability of commercial HMDs already provides a glimpse into our digital future of the ``metaverse'', where users can seamlessly perceive and interact with digital content and perform their daily activities such as working, learning, and entertainment in an interconnected immersive MR space. In this dissertation, we present the design, implementation, and evaluation of several novel MR interfaces for operating complex physics facilities by developing novel sensor fusion, immersive neural rendering, and immersive robot teleoperation techniques. As a first step towards a ``particle accelerator metaverse'', this dissertation explored how MR can be used to improve HCI for users working in extreme, complex, and hazardous conditions such as high-energy laser facilities and particle accelerator tunnels while contributing to the advancement of MR technology in general.

Großtechnische physikalische Anlagen wie Teilchenbeschleuniger und Hochleistungslaser sind wichtige Laborausrüstungen für industrielle Prozesse und wissenschaftliche Forschung. Allerdings stellen sie auch einige der anspruchsvollsten Herausforderungen in der Mensch-Computer-Interaktion (HCI) bei der Steuerung und Wartung der Anlagen dar. In den letzten Jahren hat der Aufstieg der Mixed-Reality-(MR-)Technologie begonnen, die alltägliche HCI von herkömmlichen 2D-Benutzeroberflächen (UIs) und Monitoren zu 3D-räumlichen UIs und immersiven, am Kopf montierten Displays (HMDs) zu transformieren. Begleitet von den rasanten Fortschritten in der Computer Vision, künstlichen Intelligenz (KI) und Robotik bieten kommerziell erhältliche HMDs bereits einen Einblick in unsere digitale Zukunft des "Metaverse", in der Nutzer nahtlos digitale Inhalte wahrnehmen und damit interagieren sowie ihre täglichen Aktivitäten wie Arbeiten, Lernen und Unterhaltung in einem vernetzten immersiven MR-Raum ausführen können. In dieser Dissertation präsentieren wir das Design, die Implementierung und die Bewertung mehrerer neuartiger MR-Schnittstellen zum Betreiben komplexer physikalischer Anlagen durch die Entwicklung neuartiger Sensorfusionen, immersiver neuronaler Wiedergabe und immersiver Robotik-Teleoperations-Techniken. Als erster Schritt in Richtung eines "Teilchenbeschleuniger-Metaversums" untersucht diese Dissertation, wie MR verwendet werden kann, um die HCI für Benutzer zu verbessern, die unter extremen, komplexen und gefährlichen Bedingungen arbeiten, wie beispielsweise in Hochenergie-Laseranlagen und Teilchenbeschleunigertunneln, und gleichzeitig zur allgemeinen Weiterentwicklung der MR-Technologie beizutragen.