Transfer Learning mit synthetischen Daten für Bildverarbeitungssysteme in der industriellen Kommissionierung

Mit der Automatisierung industrieller Produktions- und Logistikprozesse steigt auch der Bedarf an zugehörigen Bildverarbeitungssystemen, welche zunehmend auf Verfahren des maschinellen Lernens basieren.
Aufgrund des hohen Datenbedarfs und des großen Aufwands der manuellen Datenerzeugung wird die Nutzung mittels Simulationssoftware erzeugter synthetischer Bilddaten immer relevanter.
Jedoch führen Unterschiede zwischen der synthetischen und der realen Domäne, die sogenannte Domänenlücke (engl. domain gap), zu Performanzeinbußen der synthetisch trainierten neuronalen Netze (NNs) in der realen Anwendung.
... mehr

Im Rahmen der vorliegenden Arbeit werden verschiedene Methoden zur Verbesserung von synthetischen Bilddaten mit dem Ziel untersucht, die Domänenlücke so weit wie möglich zu verkleinern – das Scene Engineering, die Domain Randomization und die Domain Adaptation sowie deren Kombination.
Hierbei liegt der Fokus auf industriellen Anwendungsfällen, wobei für die Untersuchung primär eine exemplarische Item Picking-Aufgabe genutzt wird.
Übergeordnet steht die Frage, ob es mit Blick auf die Performanz der neuronalen Netze möglich ist, mit synthetischen Trainingsdaten dasselbe Niveau wie beim Training mit Realdaten zu erreichen.

Für die untersuchten Anwendungsfälle wird die signifikante Überlegenheit des Scene Engineerings gegenüber kontextarmen Datengenerierungsmethoden belegt.
Dabei werden insbesondere die realistischen Nachbildungen der Szene in Bezug auf den Ladungsträger und das Sichtfeld der Kamera als entscheidende Faktoren identifiziert.

Es wird die signifikante Verbesserung der synthetischen Bilddaten durch nachträgliche Domain Randomization über Augmentationstechniken nachgewiesen.
Hierbei wird die Kombination aus starker Kontrast-, Saturations- und Hellwertvariation als beste Augmentationsmethode identifiziert.

Zwar wird auch die signifikante Steigerung der Performanz durch die Domain Adaptation mit bildstatistischen und generativen Verfahren belegt, jedoch kann bei der Kombination mit Domain Randomization keine generelle Verbesserung über diese hinaus nachgewiesen werden.

Durch die Übertragung auf weitere Datensätze, Metriken, NN-Architekturen und Anwendungsfälle wird die forschungsleitende Fragestellung abschließend bestätigt.
Es wird belegt, dass mit synthetischen Trainingsdaten, in Abhängigkeit vom Evaluierungsdatensatz und den genutzten Metriken, Performanzkennwerte erreicht werden können, welche nicht signifikant niedriger und teilweise sogar höher sind als beim Training mit realen Bilddaten.

With the automation of industrial production and logistics processes, the demand for image processing systems, which are increasingly based on machine learning methods, is also rising.
Due to the large amount of data required and the substantial effort involved in manually generating data, the use of synthetic image data generated through simulation software is gaining relevance. However, discrepancies between the synthetic and real domains, known as the domain gap, lead to performance losses in synthetically trained neural networks (NNs) when applied to real-world scenarios.
... mehr

This work examines various methods for enhancing synthetic image data, including scene engineering, domain randomization, and domain adaptation, along with the combinations of these methods, to minimize the domain gap.
The focus is on industrial use cases, with a primary examination of an item picking task.
The central research question is whether it is possible to achieve the same level of neural network performance with synthetic training data as with real data.

For the examined use cases, the significant superiority of scene engineering over low-context data generation methods is demonstrated. Realistic reproduction of the scene, particularly with respect to the bin and the camera's field of view, is identified as a crucial factor.

A significant improvement of the synthetic image data is achieved through subsequent domain randomization using augmentation techniques. Strong variations in contrast, saturation, and brightness are identified as the most effective augmentation methods.

Although domain adaptation using image statistical and generative methods significantly improves performance, combining these with domain randomization does not yield additional general improvements.

By applying the results to other datasets, metrics, NN architectures, and use cases, the research question is solved. It is shown that, depending on the evaluation dataset and metrics used, performance with synthetic training data can be comparable to, or in some cases even surpass, that achieved with real image data.