Mixed Reality Technologies for Novel Forms of Human-Robot Interaction

Abstract

Nowadays, robot technology surrounds us and future developments will further increase the frequency of our everyday contacts with robots in our daily life. To enable this, the current forms of human-robot interaction need to evolve. The concept of digital twins seems promising for establishing novel forms of cooperation and communication with robots and for modeling system states. Machine learning is now ready to be applied to a multitude of domains. It has the potential to enhance artificial systems with capabilities, which so far are found in natural intelligent creatures, only. Mixed reality experienced a substantial technological evolution in recent years and future developments of mixed reality devices seem to be promising, as well. Wireless networks will improve significantly in the next years and thus, latency and bandwidth limitations will be no crucial issue anymore. Based on the ongoing technological progress, novel interaction and communication forms with robots become available and their application to real-world scenarios becomes feasible. This thesis enables a conceptual view of this future. The theoretical part of this thesis provides the reader with the necessary background for developing mixed reality robotic user interfaces (MR RUI). It presents a framework for their technological classification, which is explained and applied to existent robotic systems. Furthermore, the investigation of immersive robotic research experiments from the literature and their requirements gave rise to the development of a software framework for implementing MR-RUIs in the practical part of this thesis. In the applied part, the software framework is used to develop and evaluate MR-RUI prototypes for this thesis. User studies evaluate different methods in MR for gesture-based control of robots, mostly involving the operators’ hands and head. Finally, mid-air gestures and multimodal interaction combined with a stereoscopic rendering of the operator’s view are found to be efficient means for novel human-robot interaction. The ongoing technological progress will refine the quality and capabilities of technological devices used for the presented experiments and further improve future implementations of robotic user interfaces in MR. Summarizing the investigations, developments and evaluations from this thesis indicates that the future of human-robot interaction with natural interaction in mixed reality seems to be promising. The next generation of technological and methodological achievements could overcome many actual limits and when they are ready, further grow together into large interconnected systems. All in all, the next generation of intelligent robotic systems will cooperate with us at the next level of blended reality and will come closer to assist us in our daily life, with communication skills comparable to human companions and even beyond the natural limitations.

Heutzutage ist Technologie, gerade in Bezug auf Roboter, in unserem täglichen Umfeld allgegenwärtig, und dieser Kontakt im Alltag wird sich durch zukünftige Entwicklungen noch deutlich ausweiten. Um dies handhabbar zu machen, müssen sich die heutigen Formen der Mensch Roboter Interaktion noch deutlich weiterentwickeln. Es scheint vielversprechend zu diesem Zweck einen digitalen Zwilling zu nutzen, der als virtuelles Model fungiert und neue Formen der Kooperation und Kommunikation, zwischen Mensch und Roboter, etablieren kann. Machine learning ist mittlerweile in vielen Bereichen einsetzbar. Es hat das Potential künstliche Systeme mit Fähigkeiten auszustatten, die normalerweise nur in der Natur zu finden sind. Mixed reality hat in den letzten Jahren eine grundlegende Weiterentwicklung erfahren, was vermuten lässt, das auch zukünftige Entwicklungen in diesem Bereich viele neue Möglichkeiten eröffnen werden. Drahtlose Netzwerke werden sich in den nächsten Jahren stark verbessern, und somit Einschränkungen durch Latenz und Bandbreiten deutlich reduzieren. Basierend auf dem andauernden technologischen Fortschritt, werden neue Interaktions- und Kommunikationsformen mit Robotern verfügbar sein, was diese für die Anwendung in “Real-Life” Szenarios nutzbar macht. Diese Dissertationsschrift gibt einen konzeptuellen Ausblick auf diese Zukunft. Der theoretische Teil dieser Dissertationsschrift gibt dem Leser einen Überblick über den notwendingen Hintergrund zur Entwicklung von mixed reality robotic user interfaces (MRRUI). Er stellt einen Rahmen für die technologische Klassifizierung, welcher Erklärungen bietet und auf bestehende Systeme in der Robotik angewendet wird. Weiterhin hat die Auswertung von immersiven Forschungsexperimenten in der Robotik aus der Literatur dazu geführt, dass im praktischen Teil dieser Arbeit ein Framework für die Software Implementierung von MR-RUIs entwickelt wurde. Im angewandten Teil dieser Doktorarbeit wurde dieser genutzt, um MR-RUI Prototypen zu entwickeln und zu bewerten. Studien mit Nutzern wurden durchgeführt, um verschiedene Methoden von Gesten-gesteuerter Bedienung von Robotern zu bewerten, hauptsächlich durch Hand- und Kopfgesten. Hierbei ergab sich, dass Gesten im freien Raum und multimodale Interaktion, kombiniert mit stereoskopischer Visualisierung geeignete Methoden zur Mensch Roboter Interaktion in MR sind. Die in den nächsten Jahren folgende technische Entwicklung wird die Qualität und Möglichkeiten der in den Experimenten genutzten Geräte, für zukünftige Implementierungen von MR-RUIs, weiter verbessern. Zusammenfassend zeigen die Untersuchungen, Entwicklungen und Bewertungen dieser Arbeit, dass die Zukunft des Zusammenspiels von Mensch-Roboter Interaktion, und der natürlichen Interaktion in mixed reality, sehr vielversprechend ist. Die nächste Generation und ihre technologisch- und methodisch ausgereiften Errungenschaften könnten heutzutage noch vorhanden Grenzen überwinden, und wenn sie bereit sind, weiter zusammenwachsen und ein großes weitvernetztes System ermöglichen. Alles in Allem, wird die nächste Generation intelligenter Robotik Systeme es uns ermöglichen, auf dem nächsten Level einer vermischten Realität, in unserem täglichen Leben mit Robotern wie mit anderen Menschen zu kommunizieren, und sogar von der Natur vorgegebene Grenzen zu überwinden.