Abstract:
Das Gehirn übertrifft herkömmliche Computerarchitekturen in Bezug auf Energieeffizienz, Robustheit und Anpassungsfähigkeit. Diese Aspekte sind auch für neue Technologien wichtig. Es lohnt sich daher, zu untersuchen, welche biologischen Prozesse das Gehirn zu Berechnungen befähigen und wie sie in Silizium umgesetzt werden können. Um sich davon inspirieren zu lassen, wie das Gehirn Berechnungen durchführt, ist ein Paradigmenwechsel im Vergleich zu herkömmlichen Computerarchitekturen erforderlich. Tatsächlich besteht das Gehirn aus Nervenzellen, Neuronen genannt, die über Synapsen miteinander verbunden sind und selbstorganisierte Netzwerke bilden.
... mehr
Neuronen und Synapsen sind komplexe dynamische Systeme, die durch biochemische und elektrische Reaktionen gesteuert werden. Infolgedessen können sie ihre Berechnungen nur auf lokale Informationen stützen. Zusätzlich kommunizieren Neuronen untereinander mit kurzen elektrischen Impulsen, den so genannten Spikes, die sich über Synapsen bewegen.
Computational Neuroscientists versuchen, diese Berechnungen mit spikenden neuronalen Netzen zu modellieren. Wenn sie auf dedizierter neuromorpher Hardware implementiert werden, können spikende neuronale Netze wie das Gehirn schnelle, energieeffiziente Berechnungen durchführen. Bis vor kurzem waren die Vorteile dieser Technologie aufgrund des Mangels an funktionellen Methoden zur Programmierung von spikenden neuronalen Netzen begrenzt. Lernen ist ein Paradigma für die Programmierung von spikenden neuronalen Netzen, bei dem sich Neuronen selbst zu funktionalen Netzen organisieren.
Wie im Gehirn basiert das Lernen in neuromorpher Hardware auf synaptischer Plastizität. Synaptische Plastizitätsregeln charakterisieren Gewichtsaktualisierungen im Hinblick auf Informationen, die lokal an der Synapse anliegen. Das Lernen geschieht also kontinuierlich und online, während sensorischer Input in das Netzwerk gestreamt wird.
Herkömmliche tiefe neuronale Netze werden üblicherweise durch Gradientenabstieg trainiert. Die durch die biologische Lerndynamik auferlegten Einschränkungen verhindern jedoch die Verwendung der konventionellen Backpropagation zur Berechnung der Gradienten. Beispielsweise behindern kontinuierliche Aktualisierungen den synchronen Wechsel zwischen Vorwärts- und Rückwärtsphasen. Darüber hinaus verhindern Gedächtnisbeschränkungen, dass die Geschichte der neuronalen Aktivität im Neuron gespeichert wird, so dass Verfahren wie Backpropagation-Through-Time nicht möglich sind. Neuartige Lösungen für diese Probleme wurden von Computational Neuroscientists innerhalb des Zeitrahmens dieser Arbeit vorgeschlagen.
In dieser Arbeit werden spikende neuronaler Netzwerke entwickelt, um Aufgaben der visuomotorischen Neurorobotik zu lösen. In der Tat entwickelten sich biologische neuronale Netze ursprünglich zur Steuerung des Körpers. Die Robotik stellt also den künstlichen Körper für das künstliche Gehirn zur Verfügung. Auf der einen Seite trägt diese Arbeit zu den gegenwärtigen Bemühungen um das Verständnis des Gehirns bei, indem sie schwierige Closed-Loop-Benchmarks liefert, ähnlich dem, was dem biologischen Gehirn widerfährt. Auf der anderen Seite werden neue Wege zur Lösung traditioneller Robotik Probleme vorgestellt, die auf vom Gehirn inspirierten Paradigmen basieren. Die Forschung wird in zwei Schritten durchgeführt. Zunächst werden vielversprechende synaptische Plastizitätsregeln identifiziert und mit ereignisbasierten Vision-Benchmarks aus der realen Welt verglichen. Zweitens werden neuartige Methoden zur Abbildung visueller Repräsentationen auf motorische Befehle vorgestellt. Neuromorphe visuelle Sensoren stellen einen wichtigen Schritt auf dem Weg zu hirninspirierten Paradigmen dar. Im Gegensatz zu herkömmlichen Kameras senden diese Sensoren Adressereignisse aus, die lokalen Änderungen der Lichtintensität entsprechen. Das ereignisbasierte Paradigma ermöglicht eine energieeffiziente und schnelle Bildverarbeitung, erfordert aber die Ableitung neuer asynchroner Algorithmen. Spikende neuronale Netze stellen eine Untergruppe von asynchronen Algorithmen dar, die vom Gehirn inspiriert und für neuromorphe Hardwaretechnologie geeignet sind. In enger Zusammenarbeit mit Computational Neuroscientists werden erfolgreiche Methoden zum Erlernen räumlich-zeitlicher Abstraktionen aus der Adressereignisdarstellung berichtet. Es wird gezeigt, dass Top-Down-Regeln der synaptischen Plastizität, die zur Optimierung einer objektiven Funktion abgeleitet wurden, die Bottom-Up-Regeln übertreffen, die allein auf Beobachtungen im Gehirn basieren. Mit dieser Einsicht wird eine neue synaptische Plastizitätsregel namens "Deep Continuous Local Learning" eingeführt, die derzeit den neuesten Stand der Technik bei ereignisbasierten Vision-Benchmarks erreicht. Diese Regel wurde während eines Aufenthalts an der Universität von Kalifornien, Irvine, gemeinsam abgeleitet, implementiert und evaluiert.
Im zweiten Teil dieser Arbeit wird der visuomotorische Kreis geschlossen, indem die gelernten visuellen Repräsentationen auf motorische Befehle abgebildet werden. Drei Ansätze werden diskutiert, um ein visuomotorisches Mapping zu erhalten: manuelle Kopplung, Belohnungs-Kopplung und Minimierung des Vorhersagefehlers. Es wird gezeigt, wie diese Ansätze, welche als synaptische Plastizitätsregeln implementiert sind, verwendet werden können, um einfache Strategien und Bewegungen zu lernen. Diese Arbeit ebnet den Weg zur Integration von hirninspirierten Berechnungsparadigmen in das Gebiet der Robotik. Es wird sogar prognostiziert, dass Fortschritte in den neuromorphen Technologien und bei den Plastizitätsregeln die Entwicklung von Hochleistungs-Lernrobotern mit geringem Energieverbrauch ermöglicht.
Abstract (englisch):
The brain outperforms conventional computer architectures in aspects of energy efficiency, robustness and adaptivity. These aspects are also important for emerging technologies. It is therefore worthwhile to investigate what biological processes enable the brain to perform computations and how can they be implemented in silicon. Taking inspiration from how the brain performs computations requires a shift in computational paradigm compared to conventional computer architectures. Indeed, the brain is composed of nervous cells, called neurons, connected with synapses and forming self-organized networks. ... mehrNeurons and synapses are complex dynamical systems ruled by biochemical and electrical reactions. As a result, they can only base their computations on local information. Additionally, neurons communicate with each other with short electrical pulses, called spikes, which travel across synapses.
Computational neuroscientists attempt to model these computations with spiking neural networks. When implemented on dedicated neuromorphic hardware, spiking neural networks can perform fast, energy efficient computations like the brain. Until recently, the advantages of this technology were limited due to the lack of functional methods for programming spiking neural networks. Learning is one paradigm for programming spiking neural networks, in which neurons self-organize into functional networks.
As in the brain, learning in neuromorphic hardware is based on synaptic plasticity. Synaptic plasticity rules characterize weight updates in terms of information local to the synapse. Learning happens in a continuous and online fashion, while sensory input is streamed to the network.
Conventional deep neural networks are commonly trained with gradient descent. However, the constraints imposed by biological learning dynamics prevent the use of conventional backpropagation to compute the gradients. For example, continuous updates hinder the synchronous alternation between forward and backward phases. Additionally, memory limitations prevent the history of neural activity to be stored as-is at the neuron, prohibiting backpropagation-through-time. Novel solutions to these problems were proposed by computational neuroscientists within the time-frame of this thesis.
In this thesis, spiking neural networks are developed to solve visuomotor neurorobotics tasks. Indeed, biological neural networks evolved to control the body. The field of robotics provides an artificial body to the artificial brain. On one side, this thesis contributes to the current endeavor in understanding the brain by providing difficult closed-loop benchmarks, similar to what the biological brain experiences. On the other side, novel ways of solving traditional robotic problems are introduced, based on brain-inspired paradigms. The research is conducted in two steps. First, promising synaptic plasticity rules are identified and benchmarked on real-world event-based vision benchmarks. Second, novel methods to map visual representations to motor commands are presented.
Neuromorphic vision sensors mark an important step in shifting towards brain-inspired paradigms. Unlike conventional cameras, these sensors emit address events corresponding to local light intensity changes. The event-based paradigm enables energy efficient and fast visual processing but requires new asynchronous algorithms to be derived. Spiking neural networks constitute a subset of asynchronous algorithms inspired by the brain and suited to neuromorphic hardware technology. With a close collaboration with computational neuroscientists, successful methods to learn spatio-temporal abstractions from address event representation are reported. It is shown that top-down synaptic plasticity rules derived to optimize an objective function outperform bottom-up rules solely based on observations in the brain. With this insight in mind, a new synaptic plasticity rule called Deep Continuous Local Learning is introduced, currently achieving state-of-the-art accuracy on event-based vision benchmarks. This rule was jointly derived, implemented and evaluated during a stay at the University of California, Irvine.
In the second part of this thesis, the visuomotor loop is closed by mapping the learned visual representations to motor commands. Three approaches are discussed to obtain a visuomotor mapping: manual coupling, reward-coupling and prediction error minimization. It is shown how these approaches implemented as synaptic plasticity rules can be used to learn simple policies and movements. This work paves the way towards the integration of brain-inspired computational paradigms into the field of robotics. Indeed, it is suggested that advances in neuromorphic technology and plasticity rules would enable the development of learning robots operating at high speed and low power.
