Human Pose Estimation for Robot Safety

Für die moderne industrielle Fertigung wird die Interaktion zwischen Mensch und Roboter zunehmen wichtig, da so beide ihre individuelle Stärken zum Fertigungsprozess beitragen können. Um die Zusammenarbeit zwischen Mensch und Roboter zu ermöglichen, dürfen sie nicht physisch getrennt werden, wie es bei Sicherheitszäunen und ähnlichen Vorrichtungen der Fall ist. Ohne physische Trennung muss die Sicherheit des Menschen jedoch nach wie vor gewährleistet werden. Ein gängiges Vorgehen um dieses Ziel zu erreichen ist die Abstandsüberwachung zwischen Menschen und Roboter, bei der der Roboter vollständig gestoppt wird, falls der Mensch ihm zu nahe kommt. ... mehrÜblicherweise wird die Abstandsüberwachung mittels eines Sicherheits-Laserscanners realisiert, welcher lediglich die Position der menschlichen Beine detektiert. Um ein vollständigeres Bild der Position des gesamten menschlichen Körpers zu erhalten, könnten Verfahren zur menschlichen Posenschätzung - der Human Pose Estimation - eingesetzt werden, welche Schlüsselpunkte des gesamten Körpers - sogenannte Keypoints - detektieren.

Aktuell ist der Einsatz von Human Pose Estimation in sicherheitskritischen Teilen industrieller Robotikanwendungen aufgrund verschiedener Faktoren noch nicht möglich. Maßgeblich sind vor allem zwei Faktoren, die sich aus relevanten Sicherheitsnormen ergeben: Eine Fehlerquote, die gering genug ist, und harte Echtzeitfähigkeit. Im Rahmen dieser Arbeit werden beide Punkte adressiert. Es werden Methoden zur Fehlerreduktion in der Human Pose Estimation vorgestellt, welche zur Detektion und dem Entfernen von falschen Ergebnissen für die Position von Keypoints eingesetzt werden. Darüber hinaus ist jede Position die für einen Keypoint bestimmt wird mit einem Messfehler variabler Größe behaftet. Damit die entsprechende Ungenauigkeit bei der Lokalisierung von Keypoints im Rahmen sicherheitskritischer Anwendungen berücksichtigt werden kann, ist es nötig, dass der größtmögliche Messfehler bekannt ist. Um dieses Problem zu lösen werden zusätzliche Verfahren eingeführt, die für jede berechnete Position eines Keypoints eine individuelle Obergrenze für den Messfehler bestimmen. Ein Faktor der das Auftreten falscher Ergebnisse stark begünstigen kann ist das Vorhandensein von Rauschen, welches daher im Rahmen dieser Arbeit ebenfalls behandelt wird. Es werden verschiedene Maßnahmen untersucht, um den negativen Effekt von Rauschen auf Human Pose Estimation und die im Rahmen dieser Arbeit vorgestellten Methoden zu verringern. Zusätzlich zu bisherigen Beiträgen, die direkt oder indirekt auf die Verringerung der Fehleranfälligkeit abzielen, wird das Problem der harten Echtzeitfähigkeit behandelt. Hierfür wird ein Verfahren eingeführt, das die Zeit zwischen einzelnen Ergebnissen der Human Pose Estimation sicher überbrückt. Darüber hinaus ermöglicht das Verfahren die hart echtzeitfähige Distanzberechnung zwischen Mensch und Roboter.

Der Großteil aller Verfahren wird auf dem MPII Human Pose Datensatz evaluiert. Methoden zur Fehlerreduktion waren in der Lage die Menge bisher unentdeckter, falscher Ergebnisse für Keypoints signifikant zu reduzieren. Beim Bestimmen individueller Obergrenzen für den Messfehler war es in den meisten Fällen möglich korrekte und qualitativ hochwertige Obergrenzen zu berechnen. Der Einfluss von Rauschen auf Human Pose Estimation und die Verfahren dieser Arbeit konnte durch geeignete Gegenmaßnahmen signifikant reduziert werden. Das vorgeschlagene Verfahren zur Echtzeitfähigkeit wurde im Gegensatz zu den anderen Verfahren durch einen theoretischen Vergleich mit einem Sicherheits-Laserscanner evaluiert. Dieser theoretische Vergleich zeigte Vorteile des Verfahrens gegenüber dem Sicherheits-Laserscanner auf, welcher de-facto ein Industriestandard ist.

In modern industrial manufacturing, the interaction of humans with robots becomes increasingly important, as each can add individual strengths to the manufacturing process. To be able to work together, humans and robots may no longer be physically separated through the likes of safety fences. Without such a physical separation, human safety needs to be ensured by other means. A standard procedure is to monitor the distance between the human and the robot, stopping the robot safely if the human comes too close. Typically, distance monitoring is done through a safety laser scanner, which only monitors the location of human legs. ... mehrA more complete picture could be obtained through human pose estimation, which detects keypoints across the whole human body.

The use of human pose estimation in its current form for such safety-critical, industrial robot applications is prohibited by several factors. Most important are the requirements of relevant safety standards for a sufficiently low error rate as well as hard real-time capability. Both must be achieved before human pose estimation can be used in safety-critical industrial applications. In this work, both of these factors are addressed. Methods to reduce errors in human pose estimation are introduced, which are used to detect and filter out incorrect keypoint predictions from human pose estimation methods. As each predicted keypoint position is affected by a measurement error of some degree, it is also necessary to know the worst-case magnitude of the measurement error for a keypoint prediction. Only then can the potential inaccuracy of a keypoint prediction be considered by a safety-critical application. Therefore, additional methods are introduced to predict an upper bound for the measurement error of each individual keypoint prediction. As a factor that can significantly increase the occurrence of incorrect results, noise is specifically considered in this work. Its negative effect on human pose estimation and methods of this work is highlighted. To counteract its negative effect, several countermeasures are investigated. In addition to the previous contributions that focus more or less directly on the error rate in human pose estimation, the hard real-time capability is also addressed. To achieve hard real-time capability, a method is introduced that bridges the time between the arrival of human pose estimation results and allows for a safe, hard real-time capable distance calculation between human and robot.

Most methods are evaluated through experiments on the MPII Human Pose dataset. Methods for error reduction were able to significantly reduce previously undetected, false human pose estimation results. The prediction of correct and high-quality upper bounds for the measurement error of keypoints predictions was possible in most cases. Furthermore, the impact of noise on human pose estimation and the methods of this work was greatly reduced. The proposed method for achieving hard real-time capability was evaluated through a theoretical comparison against a safety laser scanner. The results indicate an advantage over this de-facto industrial standard for distance monitoring.