Domain Operations for Multimodal Autonomous Systems

Abstract

The robotics market has increasingly gained momentum in recent years. Growing numbers of robots are leading to ever-lower hardware prices, which enable economical automation in additional fields of application. A limiting factor of today's automation systems is the setup time, integration, and programming costs, including developing and adapting control sequences to the respective task. In the past, industrial robots only relied on very few sensors, reducing the complexity and probability of failure and facilitating the implementation of control themes. However, due to their lack of self-adaptability, specialists must manually adjust those sensorless systems to new conditions each time the product or robotic cell changes. These automated systems are thus only economically viable compared to manual processes if high production volumes are targeted. Advances in lightweight robots, combined with increased use of force sensor technology, make new programming methods possible, reducing the time and cost for setup. For example, the complex calibration of poses can be performed by manually guiding the robot to the desired position instead of numerically specifying the positions. As a result, even trained employees who are not experts in robotics can adapt the system to the product as long as only minor changes are necessary. This ease of use shifted the limit for economical automation to a certain degree, but manual programming is still required for each product variant that should be manufactured. Thus, a paradigm change from programming to planning is necessary for more far-reaching improvements, allowing a batch size of one. The scientific community provides algorithms for flexible automation, which derives the required actions based on descriptions of the environment, machinery, and the desired goal without explicit programming. In contrast to automation, these autonomous systems can handle new tasks flexibly and are more robust against environmental changes due to the use of sensory information. Therefore, unlike classical approaches, which use expensive, specialized hardware and devices to reduce positioning uncertainty, these systems can handle unexpected events by utilizing cheap multimodal sensors, such as 2D and 3D cameras or the force sensors inherent to cooperative robots. Thus, the focus is on the software for autonomous decision-making, which is algorithmically more complex than predefined, programmed processes and requires additional modules for perception, data fusion, sensitive interactions, and motion generation. Different research lines deal with sub-problems of such an autonomous system and have already delivered several sophisticated algorithms that each come with their strengths and weaknesses, requirements, and parameterizations. So far, the core of robotics, integrating suitable components into a functioning system, has yet to be formalized and automated, especially if the system involves multiple sensory modes or modes of action.

In this dissertation, we propose a formal model based on set theory to describe all relevant components of autonomous systems. While the approach is primarily discussed based on industrially relevant use cases, the methods can also be applied to arbitrary domains, such as households or agriculture. Our model combines declarative knowledge, which describes information and physical objects, and procedural knowledge, which deals with actions and modifications of declarative knowledge. Only with this combination, and based on the formal foundation, can we formulate specialized operations in these fields that autonomize robotics. These operations also include planning algorithms that perform actions in simulation or the real world and help us find a path to the specified goal. Our newly developed algorithms bring special features like compactness, loop detection, and completeness detection. Furthermore, these operators can also include approaches to calculate a hierarchical ordering within the model, which helps to factorize the specified planning task and structure the search space during planning. Combined, all those properties allow us to automatically compute a recursive decomposition of the planning problem, which is crucial to managing large, real-world problems that cover discrete and continuous properties. Since our primary goal is to reduce cost by broadly applying flexible, autonomous systems, we need a systematic approach to reuse components from different sources. Therefore, we have developed algorithms that detect and correct common errors in domains composed from multiple sources. By that, our automatic domain optimization algorithms allow for multimodal systems, which combine perception and sensor fusion steps of various modes with multimodal execution processes that include multiple tools and respective tool changes. In addition, our system is model-driven at its core, enabling easy engineering and debugging. For example, we can trace the processes involved, and due to the recursive factorization, we can help isolate and pinpoint errors quickly, facilitating troubleshooting. The automatic extension of formalized knowledge provides additional assistance to the engineer. Besides, we present operations that analyze and process existing information from known systems to extract additional knowledge for our planning algorithms, which includes harvesting non-formalized sources, such as program code or documentation, to generate usable, formalized models. The harvesting process involves data-driven approaches, which enable us to extract and learn models from recorded data. We can easily integrate these techniques, which have gained momentum in recent years, due to our set-based foundation, that shares principles with data-driven models. In both cases, instances or examples describe a more abstract symbol or object. The model-driven approach eases processing not only for engineers but also for algorithms. Parallel execution is an essential requirement for many industries that involve multiple machines for a single task. Since we aim at a general formalization of any industrial task, we have developed a novel approach to adapt the planning task, which is typically tailored to sequential processes, so that it can be combined with parallel execution and achieve optimal results.

Der Robotikmarkt hat in den letzten Jahren zunehmend an Dynamik gewonnen. Die wachsende Zahl an Robotern führt zu immer niedrigeren Hardwarepreisen, die eine wirtschaftliche Automatisierung von neuen Aufgaben ermöglicht. Ein limitierender Faktor heutiger Automatisierungssysteme sind die Rüst-, Integrations- und Programmierkosten, welche die Entwicklung und Anpassung der Steuerungsabläufe an die jeweilige Aufgabe beinhalten. In der Vergangenheit wurden bei Industrierobotern kaum Sensoren wie Kameras, Kraft- oder Momentensensoren verwendet. Auf der einen Seite verringert dies die Komplexität und Ausfallwahrscheinlichkeit und erleichtert die Implementierung von Algorithmen. Auf der anderen Seite müssen Spezialisten das System jedes Mal, wenn sich das Produkt oder die Roboterzelle ändert, an neue Bedingungen anpassen. Diese zeitaufwendige und dadurch teure Aufgabe führt zu einer hohen minimalen Stückzahl, ab der die automatisierte Anlage im Vergleich zum manuellen Prozess erstmals wirtschaftlich rentabel ist. Fortschritte bei Leichtbaurobotern, kombiniert mit vermehrter Anwendung von Kraftsensorik, ermöglichen neue Programmierprozesse, die den Einrichtungsaufwand reduzieren. Die aufwändige Kalibrierung von Posen kann zum Beispiel durch manuelles Führen des Roboters an die gewünschte Position durchgeführt werden. Dadurch können auch geschulte Mitarbeiter, die keine Experten der Robotik sind, die Anlage zumindest bei geringfügigen Änderungen an das Produkt anpassen. Auf diese Weise können mehr Prozesse mit kürzerer Amortisationszeit wirtschaftlich automatisiert werden. Für weiterreichende Verbesserungen, die auch eine Losgröße von 1 zulassen, ist jedoch ein Pradigmenwechsel von der Programmierung zur Planung nötig. Die wissenschaftliche Gemeinschaft stellt Algorithmen für eine flexible Automatisierung zur Verfügung, die sich auf Sensordaten stützt und keine explizite Programmierung erfordert. Stattdessen wird nur das Ziel vorgegeben und die Planungsalgorithmen berechnen eine zielführende Handlungssequenz. Diese autonomen Systeme können im Gegensatz zur Automatisierung sehr flexibel mit neuen Aufgaben umgehen und sind robuster gegenüber Veränderungen in ihrer Umgebung. Daher kann auf teure, spezialisierte Hardware und Vorrichtungen verzichtet werden, die bei der klassischen Herangehensweise notwendig sind, um die Positionierungsunsicherheit zu reduzieren. Nur mit diesen teuren Speziallösungen sind unerwartete Ereignisse, die zu einem Ausfall führen würden, ohne weitreichenden Einsatz von Sensorik und Planung vermeidbar. Die autonome Entscheidungsfindung ist jedoch algorithmisch komplexer gegenüber vorgegebenen, programmierten Abläufen und erfordert zusätzliche Module für Wahrnehmung, Datenfusion, sensitive Interaktionen und Bewegungserzeugung. Verschiedene Forschungsstränge befassen sich mit Teilproblemen und brachten mehrere, ausgefeilte Algorithmen hervor, die ihre individuellen Stärken, Anforderungen, Parametrisierungen und Nachteile haben. Bisher war der Kern der Robotik, die Integration geeigneter Komponenten zu einem funktionierenden System, jedoch nicht formalisiert und automatisiert.

In dieser Dissertation wird ein formal fundiertes, auf der Mengenlehre basierendes Modell zur Beschreibung aller relevanten Komponenten autonomer Systeme vorgestellt. Während der Ansatz in erster Linie anhand industriell relevanter Anwendungsfälle diskutiert wird, kann er mit beliebigen Domänen umgehen und die Methoden auch zum Beispiel im Haushalt oder der Landwirtschaft anwenden. Das vorgestellte Modell vereint sowohl deklaratives Wissen, das Informationen und physikalische Objekte beschreibt, als auch prozedurales Wissen, bei dem es um Aktionen und Modifikationen des deklarativen Wissens geht. Nur mit dieser Kombination und aufgrund der formalen Fundierung können spezialisierte Operationen auf diesen Gebieten formuliert werden, die die Robotik autonomisieren. Diese Operationen umfassen zum einen Planungsalgorithmen, die Aktionen in der Simulation oder in der realen Welt ausführen, um einen Weg zum spezifizierten Ziel zu finden. Die in dieser Arbeit neu entwickelten Algorithmen bringen spezielle Eigenschaften wie Kompaktheit, Schleifen- und Vollständigkeitserkennung mit. Zum anderen können diese Operatoren auch Ansätze zur Berechnung einer Ordnung innerhalb des Modells umfassen, die helfen die spezifizierte Planungsaufgabe zu faktorisieren. Dies ermöglicht die automatische Berechnung einer rekursiven Zerteilung des Planungsproblems, das den Schlüssel zur Behandlung großer, realer Probleme darstellt, die sowohl diskrete als auch kontinuierliche Eigenschaften abdecken. Da das Hauptziel die Kostenreduzierung durch eine breite Anwendung flexibler, autonomer Systeme ist, wird ein systematischer Ansatz zur Wiederverwendung von Komponenten aus verschiedenen Quellen benötigt. Daher wurden in dieser Arbeit Algorithmen entwickelt, die häufige Fehler in solchen zusammengesetzten Domänen erkennen und korrigieren können. Hiermit werden auch die komplexeren Algorithmen und Handlungsabläufe multimodaler Systeme ermöglicht, bei denen die Stärken unterschiedlicher Sensorentypen, deren Datenfusion zu einem gemeinsamen Weltmodell, sowie die mutlimodale Ausführung durch verschiedenes Werkzeug oder Greifern und ihrem Zusammenspiel zu tragen kommen. Zudem ist dieses System im Kern modellgetrieben und die Abläufe damit nachvollziehbar, wodurch die Fehlersuche erleichtert wird. Erleichterned kommt noch hinzu, dass mit der rekursiven Faktorisierung Fehler leicht auf ein Teilsystem eingegrenzt werden können.

Eine weitere Hilfestellung für den Ingenieur ergibt sich durch die automatische Erweiterung des formalisierten Wissens. Es werden Operationen vorgestellt, die vorhandene Informationen aus bestehenden Systemen analysieren und aufbereiten, um zusätzliches Wissen für die Planungsalgorithmen dieser Arbeit zu extrahieren. Dazu gehört das Sammeln aus nicht-formalisierter Quellen, wie Programmcode oder Dokumentation, um brauchbare, formalisierte Modelle zu generieren. Zusätzlich damit verbunden sind auch datengetriebene Ansätze, die es ermöglichen, aus aufgezeichneten Daten Modelle zu extrahieren und zu lernen. Diese in letzten Jahren an Fahrt aufnehmenden Techniken können aufgrund der mengenbasierten Grundlage, die auch als datengetriebenes Modell betrachtet werden kann, leicht integriert werden. Für viele industrielle Aufgaben, bei deren Bearbeitung meist mehrere Maschinen beteiligt sind, ist zudem eine parallele Ausführung eine Grundvoraussetzung. Da in dieser Arbeit eine allgemeine Formalisierung beliebiger industrieller Aufgaben angestrebt wird, wurde ein neuartiger systematischer Ansatz entwickelt, um Planung, die auf sequenzielle Prozesse ausgelegt ist, mit paralleler Ausführung zu kombinieren.