Modular Models for Multi-Phase Robotic Manipulation Tasks

Abstract

The research literature on trajectory generation for robotics comprises a plethora of methods in different scenarios - each with their respective advantages and disadvantages in terms of algorithmic complexity, computational cost, dynamic constraints, adaptivity, and predictability. However, in actual robotic use, individual motions seldom stand on their own. Instead, they are part of larger manipulation sequences which are necessary to interact with the environment and complete a given task. Such prototypical sequences include object relocation, navigating a mobile robot to a different location (potentially opening and passing through doors along the way), constraint manipulation actions, such as opening hinged doors or drawers, or achieving other multimodal effects of a wide variety through physical interaction, such as pouring liquids from containers, torch welding, or pressing buttons.

This thesis contributes a framework to formulate and solve such manipulation sequences through segment factorization by relying on non-invasive information forwarding between dedicated modules. The framework, named "Task Construction", features (1) explicitly modularized sub-problems, isolating different motion phases during manipulation tasks and enabling specialized solvers and expert knowledge to affect them individually, (2) accounting for inter-dependencies that arise between different motions, e.g., grasping a tool and subsequent tool-use, through structured information propagation, and (3) comprehensive introspection to identify problems in separate motion phases - supporting users in setting up manipulation tasks. After considering a series of example uses, the thesis further investigates how a robotic system can acquire specialized effect models for motion phases. To this end, it investigates the example of haptic interaction with chordophones, where motions to produce individual musical sounds can be isolated and parameterized in a small number of parameters. Self-supervised exploration in the physical world is demonstrated through explicit constraints on observed effects. The thesis presents a Gaussian-Process-based active exploration strategy which emphasizes observable validity as a constraint. Robot experiments demonstrate the system's ability to characterize instrument interactions after sufficient self-exploration.

Die Forschungsliteratur zur Trajektoriengenerierung in der Robotik umfasst eine Vielzahl von Methoden für unterschiedliche Szenarien - jede mit spezifischen Vor- und Nachteilen im Hinblick auf algorithmische Komplexität, Rechenaufwand, dynamische Randbedingungen, Adaptivität und Vorhersagbarkeit. In der praktischen Anwendung stehen einzelne Bewegungen jedoch selten allein. Stattdessen sind sie Teil längerer Manipulationssequenzen, die erforderlich sind, um mit der Umgebung zu interagieren und eine Aufgabe zu erfüllen. Solche typischen Abläufe beinhalten etwa das Umplatzieren von Objekten, das Navigieren eines mobilen Roboters an einen anderen Ort (gegebenenfalls inklusive Öffnen und Passieren von Türen), die Manipulation unter Nebenbedingungen wie etwa das Öffnen von Türen mit Scharnieren oder Schubladen, oder das Auslösen verschiedener multimodaler Effekte durch physische Interaktion - beispielsweise das Ausgießen von Flüssigkeiten, das robotische Schweißen, oder das Betätigen von Schaltern.

Diese Dissertation trägt ein Framework namens Task Construction bei, das solche Manipulationssequenzen durch die Faktorisierung von Phasen formuliert und löst, indem es sich auf nicht-invasive Informationsweiterleitung zwischen dedizierten Modulen stützt. Das Framework zeichnet sich durch (1) explizit modularisierte Teilprobleme aus, die verschiedene Bewegungsphasen während Manipulationsaufgaben isolieren und spezialisierte Lösungsansätze sowie Expertenwissen gezielt in diesen Phasen zur Wirkung kommen lassen, (2) die Berücksichtigung von Abhängigkeiten, die zwischen unterschiedlichen Bewegungen entstehen - etwa beim Greifen eines Werkzeugs und dessen anschließender Verwendung - durch eine strukturierte Informationsweitergabe, und (3) umfassende Introspektion, um Probleme in den einzelnen Bewegungsphasen zu identifizieren und so Anwender bei der Einrichtung von Manipulationsaufgaben zu unterstützen. Nach der Betrachtung verschiedener Anwendungsbeispiele wird weiterhin untersucht, wie ein robotisches System spezialisierte Wirkmodelle für einzelne Bewegungsphasen erwerben kann. Hierfür dient das Beispiel der haptischen Interaktion mit Chordophonen, bei denen die Bewegungen zur Erzeugung einzelner musikalischer Töne isoliert ist und in wenige Parameter gefasst werden können. Selbstüberwachtes Explorieren in der physischen Welt wird unter Berücksichtigung expliziter Beschränkungen der beobachteten Effekte untersucht. Die Arbeit stellt eine auf Gauß-Prozess Methodik basierende Strategie zur aktiven Exploration vor, die die erwartete Validität von Explorationsversuchen als Nebenbedingung hervorhebt. In Roboterversuchen wird schließlich demonstriert, dass das System nach hinreichender Selbstexploration in der Lage ist, die Effekte von Interaktionen mit dem Instrument erfolgreich zu charakterisieren.