Szenenanalyse in unstruktuierter Umgebung : Adaptives Verfahren zur Objekterkennung basierend auf der Multi-Sensor-Fusion und aktiven Wahrnehmung

Abstract

Die vorliegende Dissertation versucht, einen Paradigmenwechsel in Bezug auf die Objekterkennung zu vollziehen. Die meisten vergleichbaren Arbeiten greifen auf eine geringere Anzahl an Detektoren zur zurück – meistens nur auf einen. Dabei wird, basierend auf der "Güte" des jeweiligen Detektors, die bestmögliche Erkennungsrate erzielt. Somit sind viele Wissenschaftler damit beschäftigt, die Performanz des eingesetzten Detektors zu optimieren. Diese Arbeit geht einen anderen Weg. Dabei werden die Daten mehrerer heterogener Sensoren verwendet. Diese werden unter Zuhilfenahme der Multi-Sensor-Fusion in Bezug zueinander registriert, was grunds ̈atzlich eine einheitliche Auswertung aller zur Verfügung stehenden Daten ermöglicht. Das Ziel ist es, die Daten so zu kombinieren, dass nach möglichst vielen Objekteigenschaften gesucht werden kann.

Auf diese kolorierte 3-D-Punktwolke werden mehrere heterogene Detektoren angewandt. Die Ergebnisse der Detektoren werden anhand ihrer qualitativen Performanz gewichtet und anschließend zu einem Ergebnis fusioniert. Eine weitere Neuerung stellt der Aspekt der Servicerobotik dar. Dieser bringt zwei aktive Komponenten mit sich und stellt eine fahrbare Roboterplattform mit manipulatorischen Fähigkeiten in den Mittelpunkt der vorliegenden Dissertation. Dadurch können die Sensoren einerseits zu einer Szene gefahren werden, was aktive Wahrnehmung ermöglicht, da der Blickwinkel auf die Szene geändert oder angepasst werden kann. Andererseits kann ein Roboter aktiv in eine Szene eingreifen und die beteiligten Objekte manipulieren, wodurch auch das Problem der Verdeckung zumindest entschärft werden kann.

Wird das gesamte Vorhaben der vorliegenden Arbeit zusammengefasst, entsteht ein Erkennungssystem, das auf einer Roboterplattform basiert und in der Lage ist, seine Umgebung wahrzunehmen und zu nalysieren. Dabei navigiert der Roboter selbstst ̈andig zur bestimmten Position im Raum. Die Szene wird analysiert, die beteiligten Objekte werden erkannt. Schlägt dies fehl, kann die Perspektive einmal oder mehrmals geändert werden. Bringt auch das keinen Erfolg, wird in die Szene aktiv eingegriffen, und erkannte oder detektierte Objekte werden daraus entfernt. Nach jedem Schritt wird die Szene erneut analysiert. Es entsteht ein geschlossener Zyklus, der die Wahrnehmung über Sensoren, die Analyse, die Anderung der Position sowie die Manipulation einer Szene beinhaltet und ständig durchlaufen wird. Sind am Ende dennoch einige Objekte nicht erkannt, kann aus den Daten der Detektion ein koloriertes 3-D-Objektmodell erstellt und zwecks Klassifikation und Ergänzung weiterer Eigenschaften an den Operator geschickt werden.

The present thesis tries to change the existing paradigm related to object recognition. Most state-of-the-art publications use a small number of detectors, usually only one. Consequently, the developers work almost exclusively to achieve the improvement of one single detector.

The work presented here takes a different approach. At first the data of multiple, heterogeneous sensors is used. With the help of multi sensor fusion the data is combined and registered in relation to each other. The final result of this step is the 3-D colored point cloud. This point cloud constitutes the input for the used detectors, with the number of detectors varying. The goal of the presented thesis is the combination of the information in such a way that the used detectors can operate on most or all object properties. The detectors results are weighted depending on the quality of the detector and fused to one final result. The advantage of this approach is that this decision is based on more information than only the sum of results from each single detector. Another innovation of the presented work is the inclusion of the service robotics aspect. It integrates two new active components and places a mobile robot platform with grasping capabilities in the center of this thesis. This way, sensors can be driven to a scene, allowing for active sensing, or the point of view on the scene can be changed and/or adapted. The second active component is the robot manipulator which gets the possibility to interact with the objects inside the scene. One of the biggest advantages is the possibility to reduce or completely solve the problem with partial / total occlusion.

The essence of the presented work is an object recognition pipeline based on a robot system with the ability to recognize and analyze the environment. The platform automatically navigates to a given position in the space. The orientation towards the scene can be changed. If the region of interest is reached, the scene can be perceived and the objects inside recognized. If this fails, the perspective of the scene can be changed several times. If this is unsuccessful as well, the robot can manipulate the scene and remove detected or recognized objects from it. The scene is analyzed after each single step. The result is a continuously repeated, closed cycle which includes the perception via sensors, analysis, changing of the sensor position as well as the intervention with the scene.

Should any detected objects fail to be recognized, the sensor information can be used to generate a colored 3-D model from the detected features. This model can be sent to the operator to complete the information and classify the unrecognized objects.