Event-Driven Technologies for Reactive Motion Planning: Neuromorphic Stereo Vision and Robot Path Planning and Their Application on Parallel Hardware

Die Robotik wird immer mehr zu einem Schlüsselfaktor des technischen Aufschwungs. Trotz beeindruckender Fortschritte in den letzten Jahrzehnten, übertreffen Gehirne von Säugetieren in den Bereichen Sehen und Bewegungsplanung
noch immer selbst die leistungsfähigsten Maschinen. Industrieroboter sind sehr schnell und präzise, aber ihre Planungsalgorithmen sind in hochdynamischen Umgebungen, wie sie für die Mensch-Roboter-Kollaboration (MRK) erforderlich sind, nicht leistungsfähig genug. Ohne schnelle und adaptive Bewegungsplanung kann sichere MRK nicht garantiert werden. Neuromorphe Technologien, einschließlich visueller Sensoren und Hardware-Chips, arbeiten asynchron und verarbeiten so raum-zeitliche Informationen sehr effizient. ... mehrInsbesondere ereignisbasierte visuelle Sensoren sind konventionellen, synchronen Kameras bei vielen Anwendungen bereits überlegen. Daher haben ereignisbasierte Methoden
ein großes Potenzial, schnellere und energieeffizientere Algorithmen zur Bewegungssteuerung in der MRK zu ermöglichen. In dieser Arbeit wird ein Ansatz zur flexiblen reaktiven Bewegungssteuerung eines Roboterarms vorgestellt. Dabei
wird die Exterozeption durch ereignisbasiertes Stereosehen erreicht und die Pfadplanung ist in einer neuronalen Repräsentation des Konfigurationsraums implementiert. Die Multiview-3D-Rekonstruktion wird durch eine qualitative Analyse in Simulation evaluiert und auf ein Stereo-System ereignisbasierter Kameras übertragen. Zur Evaluierung der reaktiven kollisionsfreien Online-Planung wird ein Demonstrator mit einem industriellen Roboter genutzt. Dieser wird auch für eine vergleichende Studie zu sample-basierten Planern verwendet. Ergänzt wird
dies durch einen Benchmark von parallelen Hardwarelösungen wozu als Testszenario Bahnplanung in der Robotik gewählt wurde. Die Ergebnisse zeigen, dass die vorgeschlagenen neuronalen Lösungen einen effektiven Weg zur Realisierung einer Robotersteuerung für dynamische Szenarien darstellen. Diese Arbeit schafft eine Grundlage für neuronale Lösungen bei adaptiven Fertigungsprozesse, auch in Zusammenarbeit mit dem Menschen, ohne Einbußen bei Geschwindigkeit und Sicherheit. Damit ebnet sie den Weg für die Integration von dem Gehirn nachempfundener Hardware und Algorithmen in die Industrierobotik und MRK.

Robotics is increasingly becoming a key factor in technological progress. Even though impressive advances have been made, in vision and motion-planning mammal brains still outperform even the most performant machines by far. Industrial robots are very fast and precise, but their planning algorithms do not perform well enough in changing, dynamic environments, as necessary for Human–robot Interaction (HRI). Without adaptive and flexible motion planning, in
which the human being is taken into account by the robot, safe HRI cannot be guaranteed. Neuromorphic technologies, including visual sensors and hardware chips, work asynchronously and process spatiotemporal information efficiently.
... mehr
In particular, event-based cameras already outperform their frame-based counterparts in many applications. Hence event-driven methods have great potential to enable faster and more energy efficient algorithms for motion control in HRI.
This work presents a method for flexible, reactive motion control of a robotic arm. Thereby the exteroception is achieved by event-based stereo vision, and path planning is implemented in a neural representation of the configuration space.
The multi-view 3D reconstruction is evaluated by a qualitative analysis in simulation and transferred to an event-based stereo system. To evaluate the reactive, collision-free online planning a robotic demonstrator was realized and used for
a comparative study regarding sampling-based planners. This is complemented by a benchmark of parallel hardware solutions for robotic path planning. The results show that the proposed neural solutions represent an effective way to realize robot control for dynamic scenarios. This work is a basis for neural solutions regarding adaptive manufacturing processes, also in cooperation with humans, without sacrificing speed or safety. Thereby, it paves the way for integration of
brain-inspired hardware and algorithms into industrial robotics and HRI.