Generation of Synthetic Data for Large-Scale Image Analysis with Generative Adversarial Networks

Bildverarbeitung wird in vielen Bereichen wie dem Ingenieurwesen oder den Biowissenschaften benötigt. Eine wichtige Komponente ist die Segmentierung, die primär mit überwachten neuronalen Netzwerken durchgeführt wird. Überwachte neuronale Netzwerke erfordern annotierte Daten. Die manuelle Annotation ist jedoch zeitaufwändig, teuer, und fehleranfällig. Seit kurzem werden Generative Adversarial Networks (GANs), die eine Bild-zu-Bild-Übersetzung zwischen zwei ungepaarten Bildmengen erlernen können verwendet, um die manuelle Annotation zu ersetzen. Eine der Bildmengen enthält zu segmentierende Bilder und die andere Bildmenge enthält synthetisch erzeugte ungepaarte annotierte Bilder, so genannte synthetische Labelbilder. ... mehrDrei zentrale Komponenten dieser Arbeitsabläufe werden in dieser Arbeit betrachtet, optimiert, und die bestehenden Probleme werden gelöst. Der Einfluss der Eigenschaften der synthetischen Labelbilder auf die nachfolgenden Segmentierungsergebnisse wird untersucht. Die Ergebnisse können verwendet werden, um den Aufwand zur Synthese der Labelbilder zu reduzieren und bessere Segmentierungsergebnisse zu erzielen. Eine Methode zur Bewertung der Nützlichkeit von Validierungsmetriken während des GAN-Trainings wird vorgeschlagen. Mehrere Metriken werden auf zwei Benchmark-Datensätzen getestet. Daraus wird eine allgemeine Empfehlung zur Verwendung abgeleitet, um nach dem Training die beste GAN-Epoche auszuwählen. Eine neue Methode zur praktisch fehlerfreien Ausschnitts-basierten Inferenz von großformatigen Bildern unter Verwendung von GANs wird vorgestellt. Zusätzlich wird ein vollständig synthetischer 2D-Benchmark-Datensatz entwickelt, um die Fehler zu quantifizieren, die bei der Ausschnitts-basierten Inferenz auftreten. Dieser Benchmark-Datensatz wird verwendet, um den neuen Ansatz mit dem Stand der Technik zu vergleichen, wobei die neue Methode signifikant besser ist. Es wird gezeigt, dass sich die neue Methode auch auf 3D-Bilder übertragen lässt. Abschließend gibt diese Arbeit einen Ausblick auf zukünftige Arbeitsfelder zur Verbesserung der Ergebnisqualität, wenn GANs verwendet werden, um auf manuelle Annotation bei Segmentierungsaufgaben zu verzichten.

Image processing is required in many areas such as engineering or life science. An important component is segmentation, which is performed primarily with supervised neural networks. Supervised neural networks require annotated data. However, manual annotation is time-consuming, expensive, and error-prone. Recently, Generative Adversarial Networks (GANs) capable of learning image-to-image translation between two unpaired sets of images have been used to replace manual annotation. One set contains the images to be segmented and the other set contains synthetically generated unpaired annotation images, so-called synthetic labels. ... mehrTherefore, this thesis addresses the use of GANs in segmentation pipelines to replace the manual creation of labels. In this thesis, three central components of this pipeline are examined, evaluated and the existing problems are solved. The influence of the properties of the synthetic label images on the downstream segmentation performance is examined, and the results can be used to reduce the amount of work required to synthesize the label images and achieve better segmentation results. A method is proposed to evaluate the utility of validation metrics during GAN training. Several metrics are tested on two benchmark datasets and a general recommendation on how to use them to select the best GAN epoch after training is derived. A new method to allow virtually error-free patch-based inference of large-scale images using GANs is presented. Additionally, a fully synthetic 2D benchmark dataset is developed to quantify the errors that arise during patch-based inference. This benchmark dataset is used to compare state-of-the-art methods with the new method and the new method performs significantly better. It is shown that the new method can be adapted to 3D images. Finally, this thesis provides an outlook on future areas of application and fields of work to improve the quality of the results when using GANs to omit manual labeling for segmentation tasks.