State-Action Gist based In-hand Manipulation Learning from Human Demonstration

Abstract

In-hand manipulation, as a behavior mastered by human, primates and a few kinds of other animals, involves a hand and objects. Transfering these manipulation skills to service-robots is an open and important research topic in the field of robotics. Driven by the hand movements the objects are moved. The hand movements are considered as actions, and we expect the objects to be moved to their destinated states. Therefore, we use “state-action” to model an in-hand manipulation process. For modeling the hand movements, a direct way is to memorize the joint angle variation. However, there are different-sized hands in the world, repeating finger joint angles can produce different manipulation results. Because of that, we propose to use a small number of patterns to summarize the finger motions. In this way we generate the essential information on the actions, and in order to distinguish this idea we name it in-hand manipulation action gist. Correspondingly, with sensors we can capture criteria in terms of the hand, the objects, and the entire environment in the manipulation process, so we use the specific criteria to describe the achievement of the hand movements. Since the criteria are also essential information, we call them state gist. In the state-action based in-hand manipulation learning framework, everybody can successfully teach the robot. At the beginning of the robot learning, we need persons demonstrating in-hand manipulation movements to the robot. With the state-action gist extracted from multiple devices, e.g., data-gloves, cameras, and tactile sensors, the robot starts to learn the skill itself. Through motor babbling the robot finally masters the in-hand manipulation skill. In detail, this thesis applies the Gaussian Markov Random Field to extract the action gist from a data-glove. The applied method does not only work for the simple movements such as grasping, but also works for complicated movements such as finger gaiting. Concerning the state gist, this thesis mainly discusses its relationship to the sensors, and gives examples with respect to several typical sensors and several simple state gists. Afterwards, according to the scenarios with multiple demonstrations and the scenarios with periodic hand movements (like screwing), this thesis offers corresponding solutions. Furthermore, regarding the self-learning, this thesis applies the Particle Swarm Optimization and the Line Search with Re-Start to babbling learn the parameters guided by the corresponding state-action gist. Because babbling learning requires many trials, simulations are taken before the real robot execution. In case the simulated solution is not proper for a real humanoid hand, this thesis proposes a human-interactive mechanism to enhance the real robot learning. In the process of human-robot interaction, the feedbacks are in the form of “compared with the previous trial, this trial is better/worse/equal”. With this kind of feedbacks, the robot finds a better solution for the real scenario.

In-Hand-Manipulation bezeichnet das zielgerichtete und kontrollierte Greifen und Bewegen von Objekten mit einer Hand. Neben Menschen verfügen nur Primaten und wenige andere Tiere über diese Fähigkeit, und die Übertragung auf Service-Roboter ist eines der zentralen offenen Probleme der Robotik. Dabei können die Bewegungen der Finger als Aktionen angesehen werden, mit denen ein Zielzustand der manipulierten Objekte angestrebt wird. Es liegt daher nahe, den gesamten Vorgang als Zustands-Aktions-Beziehung zu modellieren. Natürlich kann jede Bewegung der Hand über den zeitlichen Ablauf der Fingerstellungen beschrieben werden, aber es gibt kleine und grosse Hände, die Bewegungen verlaufen nicht immer gleich, usw. Zur Vereinfachung und Abstraktion wird in dieser Arbeit daher zunächst das Konzept der Meta-Bewegungen (metamotions) eingeführt. Auf diese Weise wird die essentielle Information des Bewegungsablaufs der Finger repräsentiert, also der Kern einer Aktion (action-gist). Eine ähnlich kompakte Darstellung ist auch für viele Sensordaten möglich, mit denen der Zustand von Hand und Objekt und ggf. der Umgebung während der Bewegung aufgezeichnet wird. Diese Kriterien ergeben die wesentlichen Zustandsänderungen (state-gist). Aktuelle antropomorphe (fünf-Finger) Roboterhände sind rein mechanisch in der Lage, alle Bewegungen der menschlichen Hand nachzubilden. Bisher allerdings basieren fast alle erfolgreichen Anwendungen für Robotermanipulation immer noch auf detaillierter Modellierung und zeitaufwendiger Programmierung durch Experten. In dieser Arbeit wird deshalb ein Framework entwickelt, mit dem der Roboter die wesentlichen Zustands-Aktions-Beziehungen aus Demonstrationen lernen kann. Damit gilt ”Jedermann ist ein Lehrer”, denn nicht nur Experten können die Manipulationsaufgaben für den Roboter demonstrieren. Die Bewegungen der Testpersonen werden mit verschiedenen Geräten aufgezeichnet, zum Beispiel Datenhandschuh, taktile Sensoren, und Kameras. Daraus werden die wesentlichen Zustands-Aktions-Beziehungen abgeleitet und dienen als Start für den Lernprozess des Systems. Durch Motor-Babbling (ein Lernprozess mit zufälligen Bewegungen, angelehnt an das Lernen und Brabbeln von Babies) verfeinert der Roboter dann seinen Bewegungsablauf, bis die Manipulationsaufgabe gelöst wird. Im ersten Teil dieser Arbeit wird ein Gaussian Markov Random Field eingeführt, um die Aktions-Beziehungen (action-gist) aus Datenhandschuh-Sensordaten zu extrahieren. Dann werden die Zustands-Beziehungen (state-gist) beschrieben und mit Beispielen für verschiedene Sensoren erläutert. Für verschiedene Szenarien werden die zugehörigen Lösungen präsentiert, unter anderem für periodische Handbewegungen wie das Aufschrauben einer Flasche. Zum Lernen des Roboters werden die beiden Lernverfahren Particle Swarm Optimization und Line Search with Re-Start ausgewählt und analysiert. Da das Lernen mittels Motor-Babbling viele Versuche benötigt, kommt eine Simulation der Hand zum Einsatz, bevor die Bewegungen auf dem echten Roboter getestet werden. Schließlich wird in dieser Arbeit ein neuartiges Verfahren vorgeschlagen (simple human reward), bei dem der Mensch als Kritiker die zufälligen Bewegungen des Roboters während der Babbling-Phasen bewertet, um den Lernvorgang in die richtige Richtung zu lenken und zu beschleunigen.