Fully-Automated Packaging Structure Recognition of Standardized Logistics Assets on Images

Innerhalb einer logistischen Lieferkette müssen vielfältige Transportgüter an zahlreichen Knotenpunkten bearbeitet, wiedererkannt und kontrolliert werden. Dabei ist oft ein großer manueller Aufwand erforderlich, um die Paketidentität oder auch die Packstruktur zu erkennen oder zu verifizieren. Solche Schritte sind notwendig, um beispielsweise eine Lieferung auf ihre Vollständigkeit hin zu überprüfen. Wir untersuchen die Konzeption und Implementierung eines Verfahrens zur vollständigen Automatisierung der Erkennung der Packstruktur logistischer Sendungen. Ziel dieses
Verfahrens ist es, basierend auf einem einzigen Farbbild, eine oder mehrere Transporteinheiten akkurat zu lokalisieren und relevante Charakteristika, wie beispielsweise die Gesamtzahl oder die Anordnung der enthaltenen Packstücke, zu erkennen. ... mehrWir stellen eine aus mehreren Komponenten bestehende Bildverarbeitungs-Pipeline vor, die diese Aufgabe der Packstrukturerkennung lösen soll.
Unsere erste Implementierung des Verfahrens verwendet mehrere Deep Learning Modelle, genauer gesagt Convolutional Neural Networks zur Instanzsegmentierung, sowie Bildverarbeitungsmethoden und heuristische Komponenten. Wir verwenden einen eigenen Datensatz von Echtbildern aus einer Logistik-Umgebung für Training und Evaluation unseres Verfahrens. Wir zeigen, dass unsere Lösung in der Lage ist, die korrekte Packstruktur in etwa 85% der Testfälle unseres Datensatzes zu erkennen, und sogar eine höhere Genauigkeit erzielt wird, wenn nur die meist vorkommenden Packstücktypen betrachtet werden.
Für eine ausgewählte Bilderkennungs-Komponente unseres Algorithmus vergleichen wir das Potenzial der Verwendung weniger rechenintensiver, eigens designter Bildverarbeitungsmethoden mit den zuvor implementierten Deep Learning Verfahren. Aus dieser Untersuchung schlussfolgern wir die bessere Eignung der lernenden Verfahren, welche wir auf deren sehr gute Fähigkeit zur Generalisierung zurückführen.
Außerdem formulieren wir das Problem der Objekt-Lokalisierung in Bildern anhand selbst gewählter Merkmalspunkte, wie beispielsweise Eckpunkte logistischer Transporteinheiten. Ziel hiervon ist es, Objekte präziser zu lokalisieren, als dies insbesondere im Vergleich zur Verwendung herkömmlicher umgebender Rechtecke möglich ist, während gleichzeitig die Objektform durch bekanntes Vorwissen zur Objektgeometrie forciert wird. Wir stellen ein spezifisches Deep Learning Modell vor, welches die beschriebene Aufgabe löst im Fall von Objekten, welche durch vier Eckpunkte beschrieben
werden können. Das dabei entwickelte Modell mit Namen TetraPackNet wird evaluiert mittels allgemeiner und anwendungsbezogener Metriken. Wir belegen die Anwendbarkeit der Lösung im Falle unserer Bilderkennungs-Pipeline und argumentieren die Relevanz für andere Anwendungsfälle, wie beispielweise Kennzeichenerkennung.

Within a logistics supply chain, a large variety of transported goods need to be handled, recognized and checked at many different network points. Often, huge manual effort is required for recognizing or verifying packet identity or packaging structure, for instance, to check the delivery for completeness.
We investigate the design and implementation of an algorithm for the complete automation of packaging structure recognition. The alghorithm’s objective is to accurately localize one or multiple transport units and recognize relevant characteristics, e.g. the total number and the arrangement of its packaging units, based on a single image. ... mehrWe propose a multi-component pipeline to solve this task of packaging structure recognition.
Our first implementation of this pipeline employs multiple deep learning models, more precisely convolutional neural networks for instance segmentation, as well as computer vision methods and heuristic components. We provide a custom data set of real-world logistics images, which we use for the training and evaluation of our method. We show that the solution is capable of correctly recognizing the packaging structure in approximately 85% of our test cases, and even more (93%) when focusing on the most common package types.
For a selected component of our pipeline, we compare the potential of using leaner custom image processing algorithms, instead of the initially implemented deep learning methods. As a result, we conclude deep learning algorithms to be the more suitable method in our case, due to their high generalization abilities and feature complexities.
Additionally, we formulate the problem of object localization based on custom feature points, as, for instance, corner points of logistics transport units. The aim is to identify object locations more accurately, as compared to when using bounding boxes, whilst constricting object shapes by geometric apriori knowledge. We propose a specific deep learning model as a solution to this task for objects representable by four corner points. The model, named TetraPackNet, is evaluated using general metrics, and use-case-specific measurements. We show the solution’s applicability to our recognition pipeline and argue its relevance for other applications, like license plate recognition.