Autonomous View Planning using Reinforcement Learning - Modeling and Application for Visual Inspection in Remanufacturing

Unternehmen müssen zukünftig zirkuläre Produktionsmuster etablieren. Das Remanufacturing stellt derzeit einen Nischenprozess dar, bei dem Gebrauchtprodukte aufgearbeitet werden, indem diese zunächst demontiert werden, Komponenten aufgearbeitet oder ausgetauscht werden und diese zu einem Gesamtprodukt reassembliert werden. Die visuelle Inspektion stellt einen der ersten Schritte im gesamten Prozess des Remanufacturing dar, bei dem für ein Gebrauchtprodukt basierend auf dessen äußerlichen Mängeln beurteilt wird, ob es sich für das Remanufacturing eignet. Zumeist ist die visuelle Inspektion aufgrund der erforderlichen Flexibilität und Adaptivität bei der Bewertung der Gebrauchtprodukte manuell und somit teuer, was die Etablierung des Remanufacturing in Hochlohnländern behindert.
... mehr

Die Adaptivität von Verfahren der künstlichen Intelligenz im Zusammenspiel mit der Flexibilität robotischer Produktionsressourcen kann genutzt werden, um den visuellen Inspektionsprozess im Remanufacturing zu automatisieren. Bislang haben sich im Umfeld des Remanufacturing und spezieller der visuellen Inspektion die meisten Autoren lediglich mit der Produktidentifikation, Defektlokalisierung und Defektklassifizierung befasst und nicht damit, wie visuelle Erfassungssysteme die auszuwertenden Daten zielgerichtet erfassen können. Das Sichtplanungsproblem stellt das Problem dar Ansichtspunkte eines visuellen Erfassungssystems so auszuwählen, dass ein vorgegebenes Inspektionsziel mit minimaler Anzahl der hierfür erforderlichen Erfassungen erfüllt wird. Insbesondere im Remanufacturing sind Vorwissen hinsichtlich der zu inspizierenden Produktvariante oder deren Geometriemodell nicht vorhanden. Analytische Lösungsansätze zur Lösung des Sichtplanungsproblem sind daher nur begrenzt anwendbar. Die vorliegende Arbeit schließt diese Forschungslücke, indem Verfahren des Reinforcement Learning (\acs{rl}) genutzt werden, um eine Inspektionsstrategie durch einen \acs{rl} Agenten unabhängig von einem vorliegenden Geometriemodell zu lernen.

Die vorgestellte Lösungsansatz und das methodische Vorgehen liefert ein Simulationsframework, mit dem verschieden modellierte \acs{rl} Agenten zur Lösung verschiedener Sichtplanungsprobleme, spezifisch für die abgeleiteten Anforderungen des Remanufacturing, trainiert werden können. Die Ergebnisse zeigen, dass die trainierten \acs{rl} Agenten vergleichbare Performanz im Vergleich zu einer Benchmarkheuristik aufweisen, jedoch eine schlechtere Performanz im Vergleich zu einem mit einem analytischen Lösungsverfahren berechneten nahezu optimalen Sichtplan aufweisen.

Die vorliegende Arbeit stellt insbesondere dann einen wesentlichen Beitrag in Richtung autonomer visueller Inspektionssysteme unter Zuhilfenahme von \acs{rl} Algorithmen zur Lösung des Sichtplanungsproblems dar, wenn Vorwissen, das für eine Auswahl oder Berechnung der analytische Lösung notwendig ist, nicht vorliegt.

Companies will have to establish circular production patterns in the future. Remanufacturing is currently a niche process in which used products are remanufactured by first dismantling them, reworking or replacing components and reassembling them into a finished product. Visual inspection is one of the first steps in the entire remanufacturing process, in which a used product is assessed based on its external defects to determine whether it is suitable for remanufacturing. In most cases, visual inspection is manual and therefore expensive due to the flexibility and adaptability required when assessing used products, which hinders establishing remanufacturing in high-wage countries.
... mehr

The adaptivity of artificial intelligence methods in combination with the flexibility of robotic production resources can be used to automate the visual inspection process in remanufacturing. To date, most authors in the field of remanufacturing, and more specifically visual inspection, have only dealt with product identification, defect localization and defect classification and not with how visual acquisition systems can acquire the data to be evaluated in a goal-oriented manner. The view planning problem is the problem of selecting viewpoints of a visual acquisition system in such a way that a given inspection target is met with the minimum number of acquisitions required. Particularly in remanufacturing, prior knowledge of the product variant to be inspected or its geometry model is oftentimes not available. Analytical approaches to solving the visual planning problem are, therefore, only applicable to a limited extent. The present work closes this research gap by using reinforcement learning (\acs{rl}) methods to learn an inspection strategy by an \acs{rl} agent independently of an existing geometry model.

The presented solution approach and methodological procedure provide a simulation framework with which differently modeled \acs{rl} agents can be trained to solve different visual planning problems specific to the derived requirements of remanufacturing. The results show that the trained \acs{rl} agents have comparable performance compared to a benchmark heuristic, but poorer performance compared to a near-optimal view plan obtained with an analytical solution method.

The present work represents a significant contribution towards autonomous visual inspection systems using \acs{rl} algorithms to solve the view planning problem when prior knowledge necessary for selecting or computing the analytical solution is not available.