Spiking Neural Networks for Communication Systems: Encoding Schemes, Learning Algorithms, and Equalization Techniques

Künstliche Intelligenz, insbesondere maschinelles Lernen mit künstlichen neu-
ronalen Netzen (ANNs), bietet Lösungsansätze für die wachsende Komplexität
moderner Kommunikationssysteme und ermöglicht Datenübertragung nahe der
theoretischen Grenze. Die steigende Komplexität geht jedoch mit einem hohen
Energieverbrauch und somit mit energieintensiven Systemen einher.
Gepulste neuronale Netze (SNNs) sind vom menschlichen Gehirn inspirierte Mod-
elle, die durch ereignisgesteuerte Mechanismen energieeffiziente Signalverarbeitung
in Echtzeit ermöglichen. Sie unterscheiden sich von ANNs durch ihre inhärente
... mehr
zeitliche Dynamik, sowie durch ihre Informationsverarbeitung in Form kurzer
binärer Pulse. Offene Herausforderungen sind insbesondere die Wahl geeigneter
Lernregeln und neuronaler Kodierungen zur Konvertierung realer Signale in Pulse.
Diese Arbeit untersucht den Entwurf SNN-basierter Empfänger für verrauschte
sowie frequenzselektive zeitinvariante Kanäle. Der erste Teil fokussiert sich auf
die Entwicklung eines SNN-basierten Detektors für einen verrauschten Kanal.
Untersucht werden drei Lernregeln: eine biologisch inspirierte und zwei gradien-
tenbasierte, wobei die gradientenbasierte Lernregel “Backpropagation through
time mit Ersatzgradienten” als vielversprechende Lernregel identifiziert wird. Weit-
erhin werden verschiedene neuronale Kodierungen untersucht, wobei drei vielver-
sprechende Kandidaten identifiziert werden, z.B. Quantization encoding (QE).
Der zweite Teil widmet sich SNN-basierten Entzerrern und Demappern. Zwei
Architekturen, mit und ohne Entscheidungsrückkopplung, werden jeweils mit den
drei neuronalen Kodierungen kombiniert. Für das Modell einer nicht-kohärenten
optischen Übertragung werden die Ansätze bezüglich ihrer Leistungsfähigkeit und
der Anzahl generierter Pulse verglichen. Der Einsatz von Entscheidungsrückkop-
plung und QE ermöglicht leistungsfähige Entzerrer mit einer geringen Anzahl an
generierten Pulsen. Bemerkenswerterweise übertreffen SNN-basierte Entzerrer
ANN-basierte deutlich hinsichtlich ihrer Leistungsfähigkeit.
Der dritte Teil nutzt Methoden des verstärkenden Lernens (RL) um eine neue
Lernregel für SNNs sowie der neuronalen Kodierung herzuleiten. Es wird ein
RL-basierter Update-Algorithmus eingeführt, der keine Backpropagation benötigt.
Für den SNN-basierten Entzerrer und Demapper werden mittels des neuen Al-
gorithmus die Parameter der neuronalen Kodierung optimiert, wodurch ohne
Leistungseinbußen die Laufzeit, Komplexität und Anzahl der pro Inferenz gener-
ierter Pulse erheblich reduziert wird.
Diese Arbeit leistet einen Beitrag zum erfolgreichen Entwurf von SNN-basierten
Empfängern. Durch die Diskussion zentraler Herausforderungen erleichtert sie
zukünftige Fortschritte im Entwurf und Einsatz energieeffizienter Empfänger auf
Basis von SNNs.

Artificial intelligence, especially machine learning with artificial neural networks
(ANNs), provides solutions for the growing complexity of modern communication
systems, enabling communications close to the theoretical limits. This complexity,
however, increases power consumption, making the systems energy-intensive.
Spiking neural networks (SNNs) represent a novel generation of neural networks
inspired by the highly efficient human brain. By emulating its event-driven and
energy-efficient mechanisms, SNNs enable low-power, real-time signal processing.
They differ from ANNs in two key ways: they exhibit inherent temporal dynamics
... mehr
and process and transmit information as short binary signals called spikes. Despite
their promise, major challenges remain, e.g., identifying optimal learning rules for
task-specific training and effective neural encoding —the translation of real-world
signals into spikes.
This thesis investigates the design of SNN-based receivers for the additive white
Gaussian noise (AWGN) channel and nonlinear time-invariant frequency-selective
channels. The first part focuses on designing an SNN-based detector for the
AWGN channel and examines three update rules: one biologically plausible
update rule and two gradient-based approaches. Backpropagation through time
with surrogate gradients is identified as a promising update rule due to its ability
to leverage established machine learning methods. We further study different
neural encoding schemes that vary fundamentally and identify three promising
candidates, e.g., quantization encoding (QE).
The second part addresses SNN-based equalizers and demappers. Two architec-
tures, with and without decision feedback, are combined with the three neural
encodings. Given the model of the intensity modulation with direct detection
link, we compare the methods based on equalization performance and spike
count. Using decision feedback and QE achieves both strong performance and low
spike counts. Notably, SNN-based equalizers significantly outperform ANN-based
counterparts.
The third part leverages reinforcement learning (RL) methods to derive a new learn-
ing rule for SNNs as well as for neural coding. It introduces policy gradient-based
update (PGU), an RL-based update algorithm that requires no backpropagation.
Using PGU, encoding parameters for the SNN-based equalizer and demapper
are optimized, drastically reducing runtime, complexity, and spikes per inference
while maintaining performance.
This thesis contributes a successful design and optimization framework for SNN-
based receivers. By addressing key challenges in SNN optimization, it facilitates
future advances in the design and deployment of energy-efficient SNN receivers.