Application of deep learning methods in materials microscopy for the quality assessment of lithium-ion batteries and sintered NdFeB magnets

Die Qualitätskontrolle konzentriert sich auf die Erkennung von Produktfehlern und die Überwachung von Aktivitäten, um zu überprüfen, ob die Produkte den gewünschten Qualitätsstandard erfüllen. Viele Ansätze für die Qualitätskontrolle verwenden spezialisierte Bildverarbeitungssoftware, die auf manuell entwickelten Merkmalen basiert, die von Fachleuten entwickelt wurden, um Objekte zu erkennen und Bilder zu analysieren. Diese Modelle sind jedoch mühsam, kostspielig in der Entwicklung und schwer zu pflegen, während die erstellte Lösung oft spröde ist und für leicht unterschiedliche Anwendungsfälle erhebliche Anpassungen erfordert. ... mehrAus diesen Gründen wird die Qualitätskontrolle in der Industrie immer noch häufig manuell durchgeführt, was zeitaufwändig und fehleranfällig ist. Daher schlagen wir einen allgemeineren datengesteuerten Ansatz vor, der auf den jüngsten Fortschritten in der Computer-Vision-Technologie basiert und Faltungsneuronale Netze verwendet, um repräsentative Merkmale direkt aus den Daten zu lernen. Während herkömmliche Methoden handgefertigte Merkmale verwenden, um einzelne Objekte zu erkennen, lernen Deep-Learning-Ansätze verallgemeinerbare Merkmale direkt aus den Trainingsproben, um verschiedene Objekte zu erkennen.

In dieser Dissertation werden Modelle und Techniken für die automatisierte Erkennung von Defekten in lichtmikroskopischen Bildern von materialografisch präparierten Schnitten entwickelt. Wir entwickeln Modelle zur Defekterkennung, die sich grob in überwachte und unüberwachte Deep-Learning-Techniken einteilen lassen. Insbesondere werden verschiedene überwachte Deep-Learning-Modelle zur Erkennung von Defekten in der Mikrostruktur von Lithium-Ionen-Batterien entwickelt, von binären Klassifizierungsmodellen, die auf einem Sliding-Window-Ansatz mit begrenzten Trainingsdaten basieren, bis hin zu komplexen Defekterkennungs- und Lokalisierungsmodellen, die auf ein- und zweistufigen Detektoren basieren. Unser endgültiges Modell kann mehrere Klassen von Defekten in großen Mikroskopiebildern mit hoher Genauigkeit und nahezu in Echtzeit erkennen und lokalisieren.

Das erfolgreiche Trainieren von überwachten Deep-Learning-Modellen erfordert jedoch in der Regel eine ausreichend große Menge an markierten Trainingsbeispielen, die oft nicht ohne weiteres verfügbar sind und deren Beschaffung sehr kostspielig sein kann. Daher schlagen wir zwei Ansätze vor, die auf unbeaufsichtigtem Deep Learning zur Erkennung von Anomalien in der Mikrostruktur von gesinterten NdFeB-Magneten basieren, ohne dass markierte Trainingsdaten benötigt werden. Die Modelle sind in der Lage, Defekte zu erkennen, indem sie aus den Trainingsdaten indikative Merkmale von nur "normalen" Mikrostrukturmustern lernen. Wir zeigen experimentelle Ergebnisse der vorgeschlagenen Fehlererkennungssysteme, indem wir eine Qualitätsbewertung an kommerziellen Proben von Lithium-Ionen-Batterien und gesinterten NdFeB-Magneten durchführen.

Quality control focuses on identifying defects in products and monitoring activities to verify that products meet the desired quality standard. Many approaches for quality inspection use specialized image processing software based on manually engineered features developed by domain experts to recognise objects and analyse images. However, these models are laborious, costly to develop, and difficult to maintain, while the produced solution is often brittle, requiring significant adjustments for slightly different use cases. For these reasons, it is still common for quality inspection in industries to be done manually, which is time-consuming and prone to various human errors. ... mehrAs a result, we propose a more general data-driven approach based on recent advances in computer vision technologies using convolutional neural networks to learn representative features directly from the data. While traditional methods use handcrafted features to recognise individual objects, deep learning approaches learn generalizable features directly from the training samples to recognise different objects.

This dissertation develops models and techniques for the automated detection of defects in light optical microscopy images from materialographically prepared sections. We develop models for defect detection, which can be broadly categorised into supervised and unsupervised deep learning techniques. In particular, various supervised deep learning models are developed to detect defects in the microstructure of lithium-ion batteries, from binary classification models based on a sliding window approach using limited training data to complex defect detection and localization models based on one-stage and two-stage detectors. Our final model can detect and localize multiple classes of defects in large microscopy images with high accuracy in near real-time.

However, successfully training supervised deep learning models typically requires a sufficiently large set of labelled training examples that are often not readily available and can be very costly to acquire. Therefore, we propose two approaches based on unsupervised deep learning for anomaly detection in the microstructure of sintered NdFeB magnets without the need for any labelled training data. The models are able to detect defects by learning from the training data indicative features of only “normal” microstructure patterns. We show experimental results of the proposed defect detection systems by performing quality evaluation on commercial samples of both lithium-ion batteries and sintered NdFeB magnets.