Algorithm-Driven Design and Optimization of Printed Analog Neuromorphic Circuits

Gedruckte Elektronik erweist sich als eine innovative Technologie zur Herstellung elektronischer Geräte, die auf den Prinzipien der additiven Fertigung basiert. Im Gegensatz zu den traditionellen, auf Photolithographie basierenden Siliziumtechnologien, zielt die gedruckte Elektronik nicht darauf ab, die siliziumbasierte Elektronik in Bezug auf Rechenleistung oder Integrationsdichte in sehr großen integrierten Schaltkreisen zu übertreffen. Stattdessen ist es ihr Ziel, die Siliziumelektronik in speziellen Anwendungsfällen zu ergänzen, wie etwa bei Smartverpackung in schnelllebige Konsumgüter oder bei Smartverbänden in fortschrittliche medizinische Anwendungen. ... mehrIn diesen Bereichen sind die Anforderungen an die Rechenintensität und Komplexität typischerweise moderat, jedoch besteht eine kritische Nachfrage nach mechanischer Flexibilität, Nicht-Toxizität, biologischer Abbaubarkeit, hoher Anpassungsfähigkeit und extrem niedrigen Herstellungskosten. Diese Merkmale können von der siliziumbasierten Elektronik aufgrund des subtraktiven Fertigungsprozesses kaum erreicht werden. Im Gegensatz dazu wird die gedruckte Elektronik zu einem herausragenden Förderer dieser nächsten Generation von Elektronik, begünstigt durch ihre additive Fertigungsnatur und die Verfügbarkeit zahlreicher funktionaler Materialien.

Im Bereich der gedruckten Geräte hat die gedruckte analoge neuromorphe Schaltung zunehmend Interesse geweckt. Diese Schaltungen erben nicht nur die Vorteile der gedruckten Elektronik, sondern nutzen auch den Fortschritt des neuromorphen Computings. Neuromorphes Computing bezieht sich auf ein vom Gehirn inspiriertes Rechenparadigma, das durch eine Reihe von elementaren Operationen, nämlich gewichtete Summen und nichtlineare Aktivierungen, leistungsfähige und maßgeschneiderte Rechenfunktionen bewiesen hat. Daher bestehen gedruckte analoge neuromorphe Schaltungen nur aus der Verbindung mehreren einfachen Schaltkreisprimitiven, was ihr Design und ihre Optimierung hochgradig zugänglich macht. Zusätzlich ermöglicht der analoge Ansatz die direkte Verarbeitung von Signalen im analogen Bereich, vermeidet komplizierte Geräte für die Analog-Digital-Umwandlung und fördert somit die Kompaktheit und Leichtigkeit der Schaltungen. All diese einzigartigen Merkmale verleihen gedruckten analogen neuromorphen Schaltungen einen breiten und vielversprechenden Ausblick.

Jedoch befinden sich bestehende Studien zu gedruckten analogen neuromorphen Schaltungen hauptsächlich in der konzeptionellen Phase. Diese Studien haben das Prinzip der gedruckten Schaltungen zur Nachahmung des neuromorphen Computings umrissen, doch wurden mehrere praktische Faktoren nicht einbezogen. Diese Dissertation erforscht eine Reihe praktischer Probleme für gedruckte analoge neuromorphe Schaltungen: (i) In Hinsicht auf Modellierungs- und Trainingsrahmens fasst diese Arbeit zwei effektive Modellierungsansätze zusammen, die eine präzise Modellierung elektronischer Systeme ermöglichen, nämlich physikbasierte Modellierung und approximationsbasierte Modellierung. Für Training wird ein bestehender, auf maschinellem Lernen basierender Trainingsansatz durch Heuristiken verbessert, um nicht-differenzierbare physische und technische Einschränkungen in den Trainings-prozess einzubeziehen. Zudem wird ein evolutionärer Ansatz vorgeschlagen, der die Optimierung der Schaltungsarchitektur neben ihren Parametern erlaubt. (ii) Zur Verbesserung der Zuverlässigkeit der Schaltung wird die Auswirkung der Alterung von Bauteilen untersucht und eine gezielte altersbewusste Trainingsstrategie vorgeschlagen, um die Robustheit der Schaltung gegen Alterung zu erhöhen. Außerdem modelliert und analysiert diese Dissertation den gemeinsamen Einfluss von drei Hauptfaktoren, die die Zuverlässigkeit der Schaltung beeinflussen. Darüber hinaus wird eine Schaltungsarchitektursuche eingesetzt, um eine noch höhere Schaltungsrobustheit gegenüber Variationen anzubieten. Schließlich wird auch die Auswirkung katastrophaler Fehler in der gedruckten neuromorphen Schaltung untersucht. (iii) In Bezug auf die Praktikabilität wird durch Nutzung des Vorteils der additiven Fertigung gedruckter Elektronik eine geteilte Fertigungsmethode vorgeschlagen, um die Herstellungskosten der gedruckten neuromorphen Schaltungen erheblich zu senken. Zudem wird der Energieverbrauch der gedruckten neuromorphen Schaltungen durch das vorgeschlagene energiebewusste Training optimiert, was eine Pareto-optimale Schaltungsleistung innerhalb eines vorgeschriebenen Energie-Budgets ermöglicht. Darüber hinaus wird eine Verbesserung der Schaltungs-kompaktheit durch ein flächenbewusstes Training vorgeschlagen, welches die Größe der gedruckten neuromorphen Schaltungen verringert und somit ihre Anwendung in flächenknappen Szenarien erweitert. (iv) Zuletzt fokusiert diese Arbeit auf das Rechenparadigma bestehender gedruckter neuromorpher Schaltungen. Durch die elektronische Komponenten mit Zeitabhängigkeiten, wie trainierbare Kondensatoren, können gedruckte Elektronik neuartige Rechenfunktionalitäten wie rekurrente neuronale Netzwerke und Spiking neuronale Netzwerke implementieren, wodurch gedruckte analoge neuromorphe Schaltungen an Szenarien angepasst werden, in denen die Verarbeitung zeitliche Daten vorgesehen ist.

Zusammenfassend führt diese Dissertation eine umfassende Untersuchung gedruckter analoger neuromorpher Schaltungen durch. Sie beschleunigt erheblich den Übergang dieser Technologien von laborbasierten Studien zu realen Anwendungen und erleichtert somit die Elektronifizierung und Intellektualisierung in Edge-Computing-Szenarien im Kontext des Internets der Dinge.

Printed electronics is a novel technology to fabricate electronic devices based on additive manufacturing. Comparing to traditional photolithography-based silicon technologies, printed electronics is not intended to surpass silicon-based electronics in terms of computational power or integration density in very- large-scale integrated circuit. Instead, it aims to complement silicon electronics in edge scenarios, such as smart packaging in fast-moving consumer goods or smart bandages in advanced medical applications. In these domains, the requirement on computational intensity and complexity are typically moderate, however, there is a critical demand on mechanical flexibility, non-toxicity, bio-degradability, high customizability, and ultra-low fabrication cost. ... mehrThese features can hardly be matched by silicon-based electronics due to the subtractive manufacturing process. In contrast, printed electronics can provide these unique features because of its additive manufacturing nature and abundant functional materials, and thus, becomes a prominent facilitator of those next-generation electronics.

In the realm of printed devices, printed analog neuromorphic circuits has drawn increasing interest. These circuits not only inherit the benefits of printed electronics but also leverage the advancement of neuromorphic computing. Neuromorphic computing refers to brain-inspired computing paradigms, that has been proven to have powerful and bespoke computational functionalities through a series of elemental operations, namely weighted-sums and nonlinear activations. Therefore, printed analog neuromorphic circuits only consist of the interconnection of a series of streamlined circuit primitives, making their design and optimization highly accessible. Additionally, the analog approach allows processing signals directly in the analog domain, evading complicated devices for analog-digital conversion and thus facilitating the compactness and lightweight of the circuits. All these unique features enable printed analog neuromorphic circuits with a broad and promising outlook.

However, existing studies on printed analog neuromorphic circuits stay primarily in the conceptual stage. They have outlined the principle of printed circuits to emulate neuromorphic computing, yet several practical factors have not been included. This dissertation explores a series of practical issues for printed analog neuromorphic circuits: (i) Regarding the modeling and training framework, this work summarizes two effective modeling approaches that allow precise modeling of electronic systems, namely physics-informed modeling and approximation-based modeling. For training, an existing machine learning-based training approach is improved through heuristics to include non-differentiable physical and technical constraints into the training process. Moreover, an evolutionary training approach is proposed to enable the optimization of the circuit architecture alongside its parameters. (ii) For improving the circuit reliability, the impact of device aging is examined and a targeted aging-aware training strategy is proposed to improve the circuit robustness against aging. Similarly, this thesis models and analyzes the collaborative influence of three primary factors affecting circuit reliability. Furthermore, circuit architecture search is employed to enable even higher circuit robustness against variations. Lastly, the impact of catastrophic faults in the printed neuromorphic circuit is also studied. (iii) In terms of practicality, by leveraging the advantage of additive manufacturing of printed electronics, a split manufacturing method is proposed to significantly reduce the fabrication costs of the printed neuromorphic circuits. Moreover, the power consumption of the printed neuromorphic circuits is enhanced through the proposed power-aware training, enabling the Pareto-optimal circuit performance within a prescribed power budget. Besides, improvement in circuit compactness is suggested through an area-aware training, which reduces the footprint of printed neuromorphic circuits and thus expands their application in area-scarce scenarios. (iv) Finally, the computing paradigm of existing printed neuromorphic circuits is extended by introducing circuit components with time dependencies such as printed capacitors. With these components, novel computing functionalities such as recurrent or spiking neural network can be implemented by printed electronics, adapting printed neuromorphic circuits to scenarios where temporal data processing are envisioned.

In sum, this dissertation conducts a comprehensive investigation of printed analog neuromorphic circuits. It significantly accelerates the transition of these technologies from laboratory-based study to real-world deployments and therefore facilitates the electronification and intellecturalization within edge computing scenarios in the context of the Internet of Things.