Damage and Tampering Assessment in Transportation Logistics and Warehousing using Deep Learning

Aufgrund der stetig wachsenden Versandnachfrage für wertvolle Güter in den nationalen und internationalen Lieferketten gewinnt die automatisierte Analyse von Schäden und Manipulationsversuchen während des Transportprozesses stets weiter an Bedeutung. Eine kontinuierliche und koordinierte Überwachung der transportierten Pakete durch den Einsatz moderner Bildverarbeitungsmethoden kann die rechtzeitige und effiziente Erkennung potenzieller Problemfälle erleichtern. Dies wiederum kann entscheidend dazu beitragen, die Unversehrtheit und Integrität der Fracht innerhalb des Transportnetzwerkes zu gewährleisten. ... mehr

In der vorliegenden Arbeit wird zunächst ein allgemeiner und detaillierter Literaturüberblick über zahlreiche Anwendungsszenarien von Bildverarbeitungsalgorithmen in der Transportlogistik und Lagerhaltung gegeben. Dieser dient der Einordung des Standes der Technik sowie der Identifikation offener Forschungsfragen. Anschließend wird der Fokus auf die Bewertung von Schäden und Manipulationsversuchen für die Zustellung auf der letzten Meile gesetzt. Dieser Anwendungsfall erfordert hochflexible Ansätze mit geringen Hardwareanforderungen, da dem Kurier oder dem Endkunden in der Regel nur einfache portable Geräte wie Smartphones zur Verfügung stehen. Im Gegensatz zu bestehenden Arbeiten, die komplizierte multisensorische Setups und eine a-priori bekannte Umgebung erfordern, basieren alle in dieser Arbeit präsentierten Ansätze auf einem einzigenRGB-Bild als Eingabe.

Die zuverlässige Erkennung und Lokalisierung von Paketen in Bildern ist eine wichtige Grundlage für nachgelagerte Aufgaben, die sich mit der Bewertung von Schäden und Manipulationsversuchen befassen. Daher wird zunächst eine vollautomatische Pipeline zur Erzeugung von Instanzsegmentierungsdatensätzen vorgestellt, welche das Training von Modulen zur gezielten Paketerkennung ermöglicht. Aufgrund der Einfachheit des Ansatzes können Datensätze leicht erstellt und aktualisiert werden, wodurch Robustheit gegenüber potenzieller Varianz im Erscheinungsbild der Pakete (z.B. durch länderspezifische Unterschiede) erreicht werden kann.

Anschließendwird eine Pipeline zur Erkennung von Manipulationsversuchen, wie beispielweise das Öffnen und Wiederverschließen eines Pakets zur unerlaubten Inhaltsentnahme, vorgestellt. Die neu entwickelte Pipeline prädiziert dabei zunächst die Position der Paketeckpunkte und nutzt diese Information aus, um sichtpunktinvariante Frontalansichten für alle sichtbaren Seitenflächen des vorliegenden Pakets zu errechnen. Unter der Annahme, dass eine Referenztextur vorhanden ist, kann das Problem der Manipulationserkennung dann auf die Erkennung optischer Oberflächenveränderungen je Paketseitenfläche reduziert werden. Solche visuellen Unterschiede zwischen zwei Paketseitenflächen werden erkannt, indem Bildhomogenisierungstechniken angewandt werden und anschließend Bildähnlichkeitsmetriken als Kriterium herangezogen werden.

Abschließend wird das Problem der bildbasierten Schadenserkennung und -bewertung von Paketen behandelt, wobei ausschließlich Deformationsschäden betrachtet werden. Es wird die neue, dedizierte neuronale Netzwerkarchitektur CubeRefine R-CNN vorgestellt, welche die Prädiktion des minimalen umgebenden dreidimensionalen Quaders eines Pakets mit einem iterativen Verfeinerungsansatz zur Anpassung an Verformungen kombiniert. Der Ansatz prädiziert gleichzeitig die aktuelle, potenziell deformierte Form des Pakets und seine ursprüngliche, quadratische Form. Somit ermöglicht er eine detaillierte Schadensbewertung und -quantifizierung durch den direkten Vergleich zweier 3D Dreiecksgitter. Darüber hinaus wird Parcel3D vorgestellt: ein synthetischer Datensatz beschädigter und intakter Pakete mit vollständigen 2D- und 3D-Annotationen.

Die Leistungsfähigkeit aller Ansätze wird anhand realer Datensätze quantitativ und qualitativ bewertet. Zudem wurden die erstellten Datensätze und der Quellcode veröffentlicht, um die Reproduzierbarkeit der vorgestellten Arbeit zu gewährleisten.

Due to the steadily increasing amount of valuable goods in national and international supply chains, automated damage and tampering assessment during the transportation process is continuously gaining importance. Steady and streamlined monitoring of the transported parcels through the application of modern computer vision techniques can facilitate the timely and efficient detection of potential problems. This, in turn, can play a decisive role in ensuring the safety, security, and integrity of the cargo within the transportation network.

We first present a general and detailed literature review of computer vision applications in transportation logistics and warehousing. ... mehrThis review classifies the state-of-the-art and helps to identify open research questions. Afterwards, we focus on damage and tampering assessment for the use-case of last-mile delivery. This use-case imposes the necessity for highly flexible approaches with low hardware requirements, as the courier and end customer usually only have simple handheld devices such as smartphones at their disposal. Thus, in contrast to existing work that requires intricate multisensory setups and an a-priori known environment, all our approaches rely solely on a single RGB image as input.

The reliable detection and localization of parcels in images serves as a crucial foundation for downstream tasks dealing with damage and tampering assessment. Therefore, we first present a fully automated instance segmentation dataset generation pipeline to facilitate the training of targeted parcel detection modules. Due to the simplicity of the approach, datasets can be easily created and updated, and thus, robustness against potential appearance differences, e.g. across countries, can be achieved.

Subsequently, we present a novel pipeline for detecting tampering attempts, such as opening and resealing a parcel for unauthorized content removal. The newly developed pipeline first predicts the position of the eight parcel corner points and exploits this information to compute viewpoint-invariant frontal views for all visible side faces of the package at hand. By assuming that a reference texture is available, we are then able to reduce the problem of tampering detection to appearance change detection per parcel side surface. Appearance differences between two parcel side surface textures are recognized by visually aligning them through applying homogenization techniques and employing image similarity metrics in combination with thresholding.

Finally, we tackle the problem of damage detection and assessment for parcels, focusing on deformation damages only. We develop the novel targeted Artificial Neural Network (ANN) architecture CubeRefine R-CNN, which combines estimating a 3D bounding box with an iterative mesh refinement to adjust to deformations. Our approach simultaneously estimates the current, potentially deformed shape of a parcel and its original, pristine version. Thus, it enables a detailed damage assessment and quantification by directly comparing two 3D meshes. Moreover, we introduce Parcel3D, a novel synthetic dataset of damaged and intact parcels with full 2D and 3D annotations.

The performance of all approaches is evaluated quantitatively and qualitatively on real-world datasets. Furthermore, the datasets and source code have been published to ensure the reproducibility of our work.