Multiple Object Tracking in Light Microscopy Images Using Graph-based and Deep Learning Methods

Multi-Objekt-Tracking (MOT) ist ein Problem der Bildanalyse, welches die Lokalisierung und Verknüpfung von Objekten in einer Bildsequenz über die Zeit umfasst, mit zahlreichen Anwendungen in Bereichen wie autonomes Fahren, Robotik oder Überwachung. Neben technischen Anwendungsgebieten besteht auch ein großer Bedarf an MOT in biomedizinischen Anwendungen. So können beispielsweise Experimente, die mittels Lichtmikroskopie über mehrere Stunden oder Tage hinweg erfasst wurden, Hunderte oder sogar Tausende von ähnlich aussehenden Objekten enthalten, was eine manuelle Analyse unmöglich macht. ... mehrUm jedoch zuverlässige Schlussfolgerungen aus den verfolgten Objekten abzuleiten, ist eine hohe Qualität der prädizierten Trajektorien erforderlich. Daher werden domänenspezifische MOT-Ansätze benötigt, die in der Lage sind, die Besonderheiten von lichtmikroskopischen Daten zu berücksichtigen. In dieser Arbeit werden daher zwei neuartige Methoden für das MOT-Problem in Lichtmikroskopie-Bildern erarbeitet sowie Ansätze zum Vergleich der Tracking-Methoden vorgestellt.

Um die Performanz der Tracking-Methode von der Qualität der Segmentierung zu unterscheiden, wird ein Ansatz vorgeschlagen, der es ermöglicht die Tracking-Methode getrennt von der Segmentierung zu analysieren, was auch eine Untersuchung der Robustheit von Tracking-Methoden gegeben verschlechterter Segmentierungsdaten erlaubt. Des Weiteren wird eine graphbasierte Tracking-Methode vorgeschlagen, welche eine Brücke zwischen einfach anzuwendenden, aber weniger performanten Tracking-Methoden und performanten Tracking-Methoden mit vielen schwer einstellbaren Parametern schlägt. Die vorgeschlagene Tracking-Methode hat nur wenige manuell einstellbare Parameter und ist einfach auf 2D- und 3D-Datensätze anwendbar. Durch die Modellierung von Vorwissen über die Form des Tracking-Graphen ist die vorgeschlagene Tracking-Methode außerdem in der Lage, bestimmte Arten von Segmentierungsfehlern automatisch zu korrigieren. Darüber hinaus wird ein auf Deep Learning basierender Ansatz vorgeschlagen, der die Aufgabe der Instanzsegmentierung und Objektverfolgung gleichzeitig in einem einzigen neuronalen Netzwerk erlernt. Außerdem lernt der vorgeschlagene Ansatz Repräsentationen zu prädizieren, die für den Menschen verständlich sind. Um die Performanz der beiden vorgeschlagenen Tracking-Methoden im Vergleich zu anderen aktuellen, domänenspezifischen Tracking-Ansätzen zu zeigen, werden sie auf einen domänenspezifischen Benchmark angewendet. Darüber hinaus werden weitere Bewertungskriterien für Tracking-Methoden eingeführt, welche zum Vergleich der beiden vorgeschlagenen Tracking-Methoden herangezogen werden.

Multiple Object Tracking (MOT) is a problem in image analysis that involves the localization and linking of objects in an image sequence over time with numerous applications in fields such as autonomous driving, robotics, or surveillance. Besides technical fields of application, also there is a tremendous need for MOT in biomedical applications. For instance, experiments captured with light microscopy imaging over several hours or days can contain hundreds or even thousands of objects similar in appearance, which makes manual analysis infeasible. However, to deduce reliable conclusions from the tracked objects, a high tracking quality is needed. ... mehrTherefore, domain-specific MOT approaches are required which are able to manage the distinctiveness of light microscopy data. Hence, this thesis proposes two novel tracking methods for the task of MOT in light microscopy images as well as provides approaches to compare the performance of tracking methods.


To distinguish the performance of the tracking method from the segmentation quality, an approach is proposed to analyze the tracking method separately from the segmentation approach, which also allows the investigation of the robustness of a tracking method when provided with degraded segmentation data. Next, a graph-based tracking method is proposed that bridges the gap between simple to apply yet inferior-performing tracking methods and parameter-heavy, well-performing tracking methods which are difficult to tune. The proposed tracking method has few manually tunable parameters and is simple to apply to 2D and 3D datasets. Moreover, by modeling prior knowledge on the shape of the tracking graph the proposed tracking is capable to correct certain types of segmentation errors automatically. In addition, a deep learning based approach is proposed which learns the task of instance segmentation and tracking simultaneously in a single neural network. Also, the proposed approach learns to predict representations that are comprehensible to humans. Moreover, to show the performance of the two proposed tracking methods compared to other domain-specific state-of-the-art methods, they are applied to a domain-specific benchmark. In addition, further evaluation criteria are proposed which are applied to compare the two proposed tracking methods.