Abstract:
Die Bildsegmentierung ist ein zentraler Bestandteil der medizinischen Bildanalyse, da sie relevante Strukturen in Bildern genau umreißt und so das Bild mit einem positionsspezifischen semantischen Verständnis verbindet. Segmentierungen können und werden zum Teil immer noch von Hand gemacht; der Einsatz automatisierter Ansätze hat jedoch das Potenzial, das medizinische Personal erheblich zu unterstützen, die Diagnosegenauigkeit zu verbessern, klinische Beurteilungen zu standardisieren und robuste, objektive Metriken zur Verlaufsüberwachung von Krankheiten zu berechnen.
... mehr
Ärzte haben sich in jahrelangem Studium und durch praktische Arbeit ein umfassendes, ganzheitliches Bild der Anatomie gemacht. Neuronale Netze hingegen leiten ihre Repräsentation der Anatomie aus begrenzten, oft nur teilweise gelabelten Bildsätzen ab. Dank dieser breiteren Perspektiven können Kliniker die minimalen Abweichungen zwischen normaler Anatomie und frühen Anzeichen von Krankheiten erkennen, was neuronalen Netzen oft schwerfällt. In dieser Arbeit zielen wir darauf ab, diese Diskrepanz sowohl aus der Perspektive des Trainings neuronaler Netze als auch ihrer Evaluierung zu verringern: Wir ermöglichen neuronalen Netzen ein tieferes Verständnis der Anatomie und zeigen, wie das gewonnene anatomische Wissen die Pathologiesegmentierung verbessert, womit sie sich dem anatomischen Schlussfolgern nach menschlichem Maßstab nähern. Abgesehen von den Fortschritten beim Training werfen wir Fragen zu den Metriken auf, die zur Messung der Performanz bei der Pathologiesegmentierung verwendet werden, und entwickeln anschließend einen neuen Ansatz, der sich stärker an der klinischen Relevanz zur Quantifizierung der Modellleistung orientiert.
Die Basis für diese Arbeit bildet ein ganzheitlicher anatomischer Datensatz, der aus einer Sammlung bereits bestehender, aber fragmentierter Datensätze zusammengestellt wird. Wir trainieren fragmentierte Modelle auf jedem der individuellen Datensätze und verwenden diese anschließend, um ihr begrenztes Wissen in einen Ganzkörper CT (Computertomografie) Datensatz in Form von Pseudolabels zu prädizieren, in dem das fragmentierte Wissen aggregiert wird. Durch iteratives Training und anatomisch orientierte Anpassungen erhalten wir einen qualitativ hochwertigen Ganzkörper-CT-Datensatz, welcher erstmals Labels für den Großteil des menschlichen Körpers enthält und auf dem das Training von neuronalen Netzen möglich ist, die weite Teile der menschlichen Anatomie segmentieren können.
Unter der Annahme, dass ein besseres Verständnis der menschlichen Anatomie es den Netzwerken ermöglicht, Pathologien und Fremdkörper besser segmentieren zu können, untersuchen wir, wie Netzwerke, die über ein anatomisches Verständnis verfügen, in zwei Aufgabenbereichen abschneiden: Segmentierung von Pathologien in ganzkörper PET/CT-Bildern und Identifizierung von Thoraxanomalien in Röntgenaufnahmen der Brust. Wir entwickeln APEx, ein neuartiges System zum gleichzeitigen Erlernen von Anatomie und Pathologie, mit Schwerpunkt auf deren wechselseitiger Beziehung. Wir verifizieren, dass ein umfassendes Verständnis der menschlichen Anatomie die Segmentierungsleistung in beiden betrachteten Aufgabenbereichen verbessert.
Neben den Fortschritten bei den Trainingsmethoden für Anatomie-Pathologie-Modelle wenden wir uns auch der Evaluierung von Modellen zu. Wir stellen fest, dass frühere Bewertungen, die weitgehend von semantischen Segmentierungsmetriken wie Dice beeinflusst sind, nur die Überlappung zwischen der Grundwahrheit und den Vorhersagen messen. Ein simpler Vergleich der globalen Überlappung greift jedoch zu kurz, wenn es um die Besonderheiten der Segmentierung von Ganzkörperläsionen geht. Da kleinere Läsionen nicht weniger wichtig sind als größere, werden diese gängigen Metriken den besonderen Herausforderungen in diesem Bereich nicht gerecht und verzerren so die Leistungsmessung des Modells. Wir adressieren diese Einschränkung durch die Entwicklung des Connected-Component (CC)-Frameworks, das beliebige Standard-Segmentierungsmetriken pro Komponente evaluiert und neu gewichtet und so die Fähigkeit der Modelle zur Segmentierung von Tumoren über den gesamten Scan hinweg unabhängig von der Tumorgröße besser misst.
Insgesamt adressiert diese Arbeit die Kluft zwischen dem numerischen und dem klinischen Verständnis der Anatomie, indem sie drei kritische technische Säulen vorantreibt: Datensatzerstellung, Modelltraining und Modellevaluation. Durch diese Beiträge wird erstens eine ganzheitliche anatomische Grundlage für neuronale Netze geschaffen, zweitens der Einfluss von anatomischem Wissen auf die Pathologieerkennung demonstriert und drittens Bewertungsmetriken entwickelt, die klinische Prioritäten besser widerspiegeln. Dadurch wird die medizinische KI in Richtung einer zuverlässigeren, anatomisch informierten und klinisch sinnvollen Zukunft vorangebracht.
Abstract (englisch):
Image segmentation is a cornerstone of medical image analysis, as it accurately outlines structures of interest in images, thereby connecting the image to a location-specific semantic understanding. While segmentations can be done and are to some extent still done manually, leveraging automated approaches has the potential to significantly support medical personnel, enhance diagnostic accuracy, standardize clinical assessments, and provide robust, objective metrics for monitoring disease progression.
Physicians develop a rich, well-rounded understanding of anatomy through years of study and hands-on experience. ... mehrNeural networks, on the other hand, derive their representation by contrast from limited, often partly labeled image sets. That broader perspective enables clinicians to spot the subtle twists and turns that distinguish normal anatomy from early signs of disease, a task that remains challenging for neural networks.
In this thesis, we aim to narrow that gap from both the perspective of training neural networks and evaluating them. We equip neural networks with a deeper understanding of anatomy and demonstrate how the obtained anatomical knowledge improves pathology segmentation, thereby moving them toward human-level anatomical reasoning. Beyond the training advances, we raise concerns about how progress in pathology segmentation is currently measured, and subsequently develop a new framework that aligns more closely with clinical relevance to quantify model performance.
We build the foundation of this work as a holistic anatomical dataset, curated from a collection of existing but fragmented datasets. We train fragmented models on each of the datasets and subsequently use them to predict their limited knowledge in the form of pseudo labels into a full-body CT (Computed Tomography) dataset, which is used to aggregate all the fragmented knowledge. Through iterative training and anatomically guided refinements, we obtain a high-quality full-body CT dataset that, for the first time, provides labels for the majority of the human body, allowing the training of neural networks capable of understanding large parts of the human anatomy.
Hypothesizing that a better understanding of human anatomy enables networks to segment pathologies and foreign objects more effectively, we investigate how networks equipped with anatomical understanding perform across two tasks: segmenting pathologies in whole-body PET/CT imaging and identifying thoracic abnormalities in chest X-rays. We develop APEx, a novel framework to jointly learn anatomies and pathologies, focusing on their interrelatedness. We find that a rich understanding of the human anatomy benefits the segmentation performance in both imaging domains.
Complementing the advancement in training anatomy-pathology models, we turn towards evaluation. We find that previous approaches, which are largely influenced by semantic segmentation metrics such as Dice, only measure the overlap between ground-truth and predictions. Simply comparing global overlap, however, falls short in terms of the specific characteristics of full-body lesion segmentation. With smaller lesions not being less critical than larger ones, these commonly used metrics fail to address the unique challenges of this field, thereby biasing the model’s performance. We address this limitation by developing the Connected-Component (CC) framework, which reweights any standard segmentation metric on a per-component basis, thereby better measuring the models’ capabilities to segment tumors across the entire scan, irrespective of the tumor size.
Overall, this thesis bridges the gap between computational and clinical understanding of anatomy by advancing three critical technical pillars: dataset generation, model training, and model evaluation. These contributions firstly provide a holistic anatomical foundation for neural networks, secondly demonstrate the impact of anatomical knowledge on pathology detection, and thirdly provide evaluation metrics that better reflect clinical priorities, thereby advancing medical AI towards a more reliable, anatomically-informed, and clinically meaningful future.
