Software-Level Sparsity Optimization for Low-Power Spiking Neural Networks

Die Rechenanforderungen von Deep-Learning-Modellen erschweren ihren Einsatz in energiebegrenzten Umgebungen. Die neuromorphe Datenverarbeitung, die sich an den rechnerischen Prinzipien des Gehirns orientiert, bietet mit Spiking Neural Networks (SNNs), die über spärliche, ereignisgetriebene Signale kommunizieren, eine Alternative. Diese Dissertation entwickelt softwareseitige Strategien zur Steuerung des Energieverbrauchs von SNNs, geleitet von einem Abschätzungsrahmen, der den Energiebedarf als Produkt aus hardwarespezifischer Energie pro synaptischer Operation ($E_{\text{synop}}$), mittlerer Neuronaktivität ($N_{\text{spikes}}$) und der Anzahl synaptischer Verbindungen ($N_{\text{connections}}$) approximiert. ... mehrEs werden Verfahren vorgestellt, die die beiden letzteren Terme optimieren: Sparsity der Aktivierungen ($N_{\text{spikes}}$) und Sparsity der Verbindungen ($N_{\text{connections}}$). Zur Erhöhung der Sparsity der Aktivierungen werden zwei Beiträge geleistet. Erstens wird ein Framework für Spike-Codierung vorgestellt, das kontinuierliche Daten in spärliche Spike-Züge überführt und die Datendichte um bis zu 5,6$\times$ reduziert, bei Erhalt der Information. Zweitens integriert diese Arbeit spikende Neuronen in etablierte Deep-Learning-Architekturen, darunter Convolutional Neural Networks (CNNs) und rekurrente Schichten. In Anwendungen wie Schlafanalyse, neuronale Dekodierung und Predictive Maintenance erreichten diese hybriden Modelle eine Aktivierungssparsity von 84-94% und verringerten potenziell die Anzahl der spikegetriebenen Berechnungen um den Faktor 6$\times$ bis 16$\times$. Bei Leistungsoptimierung erzielten dieselben Modelle in zwei der drei Aufgaben Ergebnisse auf dem neuesten Stand der Technik. Zur Verbesserung der Sparsity der Verbindungen werden in dieser Arbeit Methoden vorgestellt, die von der räumlichen Organisation biologischer neuronaler Systeme inspiriert sind und eine Alternative zum nachträglichen Pruning allein bieten. Ein Ansatz bettet Neuronen in den euklidischen Raum ein und ermöglicht die Optimierung der Netzwerktopologie mittels gradientenbasierter Methoden; damit ließen sich Verbindungen um 80% reduzieren, ohne nennenswerte Genauigkeitseinbußen. Ein weiterer Ansatz verwendet gradientenfreie evolutionäre Algorithmen, um Topologie und Parameter von SNNs für Regelungsaufgaben in der Robotik gemeinsam zu evolvieren. Damit wurden Regler mit bis zu 99,94% weniger nicht-null-Verbindungen als Baseline-Modellen erzeugt, eine Reduktion um über 1600$\times$, bei wettbewerbsfähiger Leistung. Die vorgeschlagenen Verfahren werden auf eine Reduktion des Energieverbrauchs um ein bis drei Größenordnungen geschätzt; in Kombination mit neuromorpher Hardware in einem konkreten Anwendungsfall wird der gesamte Energieverbrauch auf bis zu $5000\times$ geringer als bei x86- und $500\times$ geringer als bei ARM-Prozessoren abgeschätzt. Insgesamt leistet diese Arbeit einen Beitrag zur praktischen Einsatzfähigkeit von SNNs auf ressourcenbeschränkter Hardware durch softwareseitige Strategien zur Induktion von Sparsity.

The computational demands of deep learning models present a challenge for their deployment in energy-constrained environments. Neuromorphic computing, which draws inspiration from the brain's computational principles, offers an alternative through the use of Spiking Neural Networks (SNNs) that communicate via sparse, event-driven signals. This dissertation develops software-level strategies for managing the energy consumption of SNNs, guided by an estimation framework that approximates energy usage as a product of hardware-specific energy per synaptic operation ($E_{\text{synop}}$), average neuron activations ($N_{\text{spikes}}$), and the number of synaptic connections ($N_{\text{connections}}$). ... mehrThis work presents methods to optimize the latter two terms: activation sparsity ($N_{\text{spikes}}$) and connection sparsity ($N_{\text{connections}}$). To improve activation sparsity, two contributions are made. First, an open-source framework for spike encoding is introduced, which converts continuous data into sparse spike trains, reducing data density by up to $5.6\times$ while preserving information. Second, this work integrates spiking neurons into established deep learning architectures, including Convolutional Neural Networks (CNNs) and recurrent layers. In applications covering sleep analysis, neural decoding, and predictive maintenance, these hybrid models achieved activation sparsities of 84-94%, potentially reducing the number of spike-driven computations by a factor of $6\times$ to $16\times$. When optimized for performance, the same models achieved state-of-the-art results in two of the three tasks. To improve connection sparsity, this work introduces methods inspired by the spatial organization of biological neural systems as an alternative to post-hoc pruning alone. One approach embeds neurons in Euclidean space, allowing the network's topology to be optimized via gradient-based methods, which reduced connections by 80% with no significant loss in accuracy. Another approach uses gradient-free evolutionary algorithms to co-evolve the topology and parameters of SNNs for control tasks in robotics. This method produced controllers with up to 99.94% fewer non-zero connections than baseline models, a reduction of over $1600\times$, while maintaining competitive performance. The proposed methods are estimated to reduce energy consumption by one to three orders of magnitude, and when paired with neuromorphic hardware on a specific use case, total energy consumption is estimated to be up to $5000\times$ lower than x86 and $500\times$ lower than ARM processors. All in all, this work advances the practical deployment of SNNs on resource-constrained hardware through software-level strategies for inducing sparsity.