Visuo-Haptic Grasping of Unknown Objects through Exploration and Learning on Humanoid Robots

Die vorliegende Arbeit befasst sich mit dem Greifen unbekannter Objekte durch humanoide Roboter. Dazu werden visuelle Informationen mit haptischer Exploration kombiniert, um Greifhypothesen zu erzeugen. Basierend auf simulierten Trainingsdaten wird außerdem eine Greifmetrik gelernt, welche die Erfolgswahrscheinlichkeit der Greifhypothesen bewertet und die mit der größten geschätzten Erfolgswahrscheinlichkeit auswählt. Diese wird verwendet, um Objekte mit Hilfe einer reaktiven Kontrollstrategie zu greifen. Die zwei Kernbeiträge der Arbeit sind zum einen die haptische Exploration von unbekannten Objekten und zum anderen das Greifen von unbekannten Objekten mit Hilfe einer neuartigen datengetriebenen Greifmetrik.

The present work focuses on the grasping of unknown objects with humanoid robots. Visual information is combined with haptic exploration to generate grasping hypotheses. Based on simulated training data, a grasping metric is learned, which evaluates the probability of success of the grasping hypotheses and selects those with the highest estimated probability of success. This is used to grasp objects using a reactive control strategy. The two core contributions of the thesis are on the one hand the haptic exploration of unknown objects and on the other hand the grasping of unknown objects using a novel data-driven grasping metric.