Crossmodal learning for dexterous manipulation

Abstract

In dieser Dissertation werden Ansätze zum Erlernen von Objektmanipulationsfähigkeiten durch Roboter unter Ausnutzung von Synergien zwischen verschiedenen Sensormodalitäten und physikalischen Gesetzmäßigkeiten entwickelt. Beim Trainieren von künstlichen neuronalen Netzen in simulierten Umgebungen können durch Erweiterung der Robotersteuerung um Vorhersage von Kontaktkräften und -punkten lokale Minima überwunden werden. Hierdurch können gewisse Manipulationsaufgaben, für die konventionelle bestärkende Lernverfahren auf zufälliges Ausprobieren zurückgreifen müssten, direkt als einstufige Ausgleichsprobleme gelöst werden. Für multimodales Lernen in der echten Welt werden neuartige taktile Matrixsensoren entwickelt. Diese können in dreidimensional gewölbten Formen und komplett aus hochelastischen Materialien gefertigt werden. Auf Basis dieser Sensoren werden taktile Sensorhandschuhe hergestellt. Es werden Verfahren entwickelt, durch welche Roboter Objektmanipulationsaufgaben aus wenigen Demonstrationen mit menschlichen Händen lernen können. Aus den Datenaufzeichnungen werden dreidimensionale multimodale Rekonstruktionen berechnet. Diese werden zum Trainieren künstlicher neuronaler Netze verwendet. Durch Einbeziehung taktiler Messwerte können nicht nur Bewegungen sondern auch Kontaktkräfte direkt aus Demonstrationsdaten gelernt werden. Zur Anpassung an neue Situationen mit veränderten Objektanordnungen wird der Lernvorgang teilweise als Entrauschproblem formuliert. Objektinteraktion wird ebenfalls aus den Datenaufzeichnungen gelernt. Durch überspezifizierte multimodale Vorhersage und physikalische Konsistenzbedingungen zur Laufzeit können Entrauschproblem und Objektdynamik zu einem einstufigen überwachten Lernproblem zusammengefasst werden. Zum gemeinsamen Anlernen und Ausführen wird eine integrierte Roboterarbeitszelle entwickelt. Diese ist mit zwei Endeffektoren und einem Multikamerasystem ausgestattet. Gelernte Objektmanipulationsfähigkeiten werden auf humanoiden Hand-Arm-Systemen sowie dem neu entwickelten Roboter erfolgreich ausgeführt.

This dissertation presents approaches for robot learning of object manipulation tasks using synergies between multiple sensor modalities and physical laws. When training artificial neural networks in simulated environments, generating contact point and contact force predictions in addition to robot commands can help overcome local minima. This allows some manipulation tasks, for which conventional reinforcement learning algorithms would have to rely on exploration through random trial and error, to be solved directly through gradient-based optimization. In order to facilitate multimodal robot learning and teaching in the real world, novel tactile matrix sensors are developed. These can be made in three-dimensional multi-curved shapes and produced completely from highly stretchable materials. The sensors are integrated into sensor gloves. Methods are developed for teaching robots through small numbers of real-world demonstrations with human hands. Data recordings are pre-processed into three-dimensional multimodal reconstructions. These are used to train artificial neural networks. Integration of tactile measurements enables teaching not only motions but also forces through demonstration. Adaptation to new situations with previously unseen object arrangements is modeled as a denoising problem. Human demonstration data is also used to learn object dynamics. Through overspecified multimodal predictions and physical consistency constraints at runtime, denoising and object dynamics can be combined into a single-level supervised learning problem. An integrated workcell is developed that supports both teaching and robot execution. The system is equipped with two end-effectors and a multi-camera system. Learned behaviors are successfully executed on the newly developed robot and on humanoid hand-arm systems.