Humanoid Robot Navigation Based on a Multimodal Cognitive Interface

Abstract

As the capabilities of the mobile robots as well as their abilities to perform more tasks in an autonomous manner are increased, we need to think about the interactions that humans will have with these robots. Human-robot interaction (HRI) has recently received considerable attention in the academic community, government labs, technology companies, and through the media. The interdisciplinary nature of HRI requires researchers in the field to understand their research within a broader context. Since natural language is the easiest and most natural mode of communication for humans, it is desirable to use it to instruct the robot and to generate easy-to-understand messages for the user. Using natural language to teach a navigation task to a robot is an application of a more general instruction-based learning methodology. It can be used to instruct the robot with higher-level goals or to handle certain behaviors and modify their execution. One effective way is to describe the route to the robot in a multimodal way.

On the other hand, significant progress has been made towards stable robotic bipedal walking in the last few years. This is creating an increased research interest in developing autonomous navigation strategies which are tailored specifically to humanoid robots. Efficient approaches to perception and motion planning, which are suited to the unique characteristics of bipedal humanoid robots and their typical operating environments, are receiving special interest. One important area of research involves the design of algorithms to compute robust navigation strategies for humanoid robots in human environments. Therefore, autonomous robot navigation based on route instruction is becoming an increasingly important research topic with regard to both humanoid and other mobile robots.

In this dissertation, the problem of humanoid robot navigation in indoor environments is addressed. A complete framework is presented for humanoid robot navigation based on a multimodal cognitive interface. First, a spatial language to describe route-based navigation tasks for a mobile robot is proposed. This language is implemented to present an intuitive interface that enables novice users to easily and naturally describe a route to a mobile robot in indoor environments. An instruction interpreter is implemented to analyze the user's route to generate its equivalent symbolic and topological map representations which are used as an initial path estimation for the humanoid robot.

Second, a robust lightweight object processing system with a high detection rate is developed. It can actually be used by mobile robots and meet their hard constraints to recognize landmarks during navigation. A landmark processing system is developed to detect, identify, and localize different types of landmarks during robot navigation in indoor or miniature city environments. The system is based on a two-step classification stage which is robust and invariant towards scaling and translations. By combining the strengths of appearance-based and model-based object classification techniques, it provides a good balance between fast processing time and high detection accuracy.

Finally, a time-efficient hybrid motion planning system for a humanoid robot in indoor environments is implemented. The proposed technique is a combination of sampling-based planner and D* Lite search to generate dynamic footstep placements in unknown environments. A modified cylinder model is used to approximate the trajectory for the robot's body-center during navigation. It calculates the actual distances required to execute different actions of the robot and compares them to the distances from the nearest obstacles. D* Lite search is then used to find dynamic and low-cost footstep placements within the resulting configuration space.

Da die Fähigkeiten von mobilen Robotern einschließlich ihrer Möglichkeiten, Aufgaben autonom durchzuführen, erweitert wurden, muss die Interaktion zwischen Mensch und Roboter neu betrachtet werden. Human-Robot-Interaction (HRI) ist ein aktuelles Thema in der Forschung, in Technologie-Unternehmen und in den Medien. Der interdisziplinäre Charakter des HRI-Bereiches erfordert Forschung innerhalb eines breiten Themenkomplexes. Da natürliche Sprache das einfachste und natürlichste Mittel der Kommunikation für Menschen ist, ist es wünschenswert, diese Form der Kommunikation auch bei der HRI zu nutzen, um einem Roboter Anweisungen zu geben und leicht verständliche Botschaften für den Benutzer zu generieren. Die Verwendung natürlicher Sprache zur Instruierung bei Navigations-Aufgaben ist eine Anwendung einer allgemeineren instruktions-basierten Lernmethodologie. Dem Roboter können so übergeordnete Ziele mitgeteilt werden, bestimmte Verhaltensweisen geändert oder auch die Ausführung einzelner Aktionen modifiziert werden. Eine effiziente Methode zur Beschreibung der Route ist die Verwendung multimodaler Anweisungen.

Weil die vergangenen Jahre einen bedeutenden Fortschritt auf dem Gebiet der humanoiden Roboter und des stabilen zweibeinigen Gehens gebracht haben, besteht ein verstärktes Forschungsinteresse an der Entwicklung autonomer Navigationsstrategien, die speziell auf humanoide Roboter zugeschnitten sind. Von besonderem Interesse sind effiziente Ansätze zur kombinierten Perzeptions- und Aktionsplanung, die an die speziellen Eigenschaften von zweibeinigen humanoiden Robotern und ihre typischen Betriebsumgebungen angepasst sind. Ein wichtiges Gebiet der Forschung ist der Entwurf von Algorithmen zur Berechnung von robusten Navigations-Strategien für humanoide Roboter in menschlicher Umgebung. Aus diesem Grunde ist die auf Routen-Instruktion beruhende autonome Roboter-Navigation ein zunehmend interessantes Thema im Hinblick auf humanoide und andere mobile Roboter.

Diese Dissertation befasst sich mit dem Problem der humanoiden Roboter-Navigation in Innenräumen. Es wird ein komplettes Framework für humanoide Roboter-Navigation basierend auf einer multimodalen Schnittstelle vorgestellt. Zunächst wird eine formale Sprache eingeführt, mit der die routen-basierten Navigationsaufgaben beschrieben werden können. Diese Sprache stellt eine intuitive Schnittstelle bereit, mit der auch unerfahrene Anwender leicht einen mobilen Roboter in einer Route in Innenräumen instruieren können. Ein Befehls-Interpreter analysiert die Benutzer-Eingabe und generiert entsprechende symbolische und topologische Darstellungen, die als erste Pfad-Schätzung für den humanoiden Roboter verwendet werden.

Des Weiteren wird in dieser Arbeit ein robustes und effizientes Objekterkennungssystem mit einer hohen Erkennungsrate entwickelt. Es kann bei mobilen Robotern eingesetzt werden und erfüllt die Anforderung, Landmarken während der Navigation zu erkennen. Das Landmarken-Detektions-System ist in der Lage, während der Roboter-Navigation in einer Miniatur-Stadt verschiedene Typen von Landmarken zu detektieren, identifizieren und zu lokalisieren. Das System basiert auf einem zweistufigen Klassifikations-Prozess, der robust und invariant gegenüber Skalierung und Translation ist. Durch die Kombination der Stärken der erscheinungs-basierten und modell-basierten Objekt-Klassifikation bietet es einen guten Kompromiss zwischen schnellen Bearbeitungszeiten und hoher Erkennungsgenauigkeit.

Ebenfalls Bestandteil dieser Arbeit ist die Implementierung eines zeiteffizienten hybriden Bewegungs-Planungs-Systems für humanoide Roboter in einer Innenraum-Umgebung. Die vorgeschlagene Technik ist eine Kombination aus Sampling-basierter Planung und „D * Lite“-Suche, die ermöglicht, dynamisch Tritt-Platzierungen in unbekannten Umgebungen zu erzeugen. Ein modifiziertes Zylinder-Modell wird verwendet, um die Trajektorie des Roboters während der Navigation näherungsweise zu bestimmen. Die Planungskomponente berechnet die benötigten Freiräume, um verschiedene Aktionen des Roboters auszuführen und vergleicht sie mit der aktuellen Entfernung zu den nächstgelegenen Hindernissen. „D* Lite“-Suche wird dann verwendet, um eine dynamische und effiziente Platzierung der Schritte innerhalb des resultierenden Konfigurations-Raumes zu finden.