Quantum Computing Assisted Speech Processing

Mensch-Maschine-Interaktion im Allgemeinen und Sprachverarbeitung im Besonderen sind Schlüsseldisziplinen in der heutigen Unterhaltungselektronik. Obwohl die Rechenleistung mobiler Geräte in den letzten Jahren stark zugenommen hat, sind Aufgaben wie Spracherkennung immernoch hauptsächlich auf cloudbasierte Lösungen angewiesen. Bei solchen Architekturen is nicht nur eine hohe Genauigkeit, sondern auch eine schnelle Reaktionszeit für eine reale und nutzerfreundliche Anwendung unerlässlich. Moderne Ansätze verwenden maschinelles Lernen für die Erkennung der Sprache, die hoch performante Hardware und umfassende Datensätze erfordert. ... mehrNeben dem eigentlichen Training und der Inferenz solcher Modelle für das maschinelle Lernen erfordert Spracherkennung die Extraktion von akustischen Merkmalen aus der aufgenommenen Sprache. Spektrogramme haben sich hierbei als gut geeigneter Merkmalsraum erwiesen und sich in heutigen Systemen etabliert.

Eine Anwendung von Quantencomputern in der Spracherkennung wurde zuvor in der Arbeit von [YQC+20b] vorgeschlagen, in welcher ein Neuronales Netz, das auf mittels von einem Quantencomputer manipulierten Spektrogrammen trainiert wurde, die Validierungsgenauigkeit des klassischen Ansatzes übertraf. Quantencomputer sind jedoch vor allem für ihre Überlegenheit gegenüber klassischen Computern im Berechnen bestimmter Algorithmen bekannt. Da die Quanten-Fourier-Transformation, das Äquivalent der klassischen Fourier-Transformation auf einem Quantencomputer, ein solcher Algorithmus ist, stellt sich die natürliche Frage und somit das Thema dieser Arbeit, ob es Möglichkeiten oder sogar Vorteile gibt, die Quanten-Fourier-Transformation für die Spektrogrammerzeugung zu nutzen.

Die Untersuchung dieser Frage erfordert den Aufbau eines geeigneten Frameworks, in dem eine kurzzeit-Quanten-Fourier-Transformation entwickelt, optimiert und ggf. Rauschunterdrückung angewandt wird. Anschließend wird die Genauigkeit eines Neuronalen Netzes, trainiert auf den mittels der kurzzeit-Quanten-Fourier-Transformation erzeugten Merkmalen, evaluiert und diskutiert. Da die Sprachsynthese, als eine weitere Unterkategorie der Sprachverarbeitung, ein völlig anderes Framework erfordert und ein ganzes Set an weiteren Herausfoderungen beherbergt, wenngleich viele aus der Spracherkennung gewonnenen Erkenntnisse darin übertragen werden können, konzentriert sich diese Arbeit ausschließlich auf die Spracherkennung.

Durch die Verwendung eines modularen Ansatzes können verschiedene Signaltypen sowie Transformationen schnell ausgetauscht und entweder in der Simulation oder auf realen Quantencomputern getestet werden. Für die Bewertung der Genauigkeit des Neuronalen Netzwerks, gegebenen den Merkmale aus verschiedenen Konfigurationen der kurzzeitQuanten-Fourier-Transformation, wird die in [YQC + 20b] vorgeschlagene Architektur als Ausgangspunkt verwendet und mit ihrer Genauigkeit von 95.12 % als Referenzwert verglichen.

Experimente zeigen, dass Quantencomputer der “Noisy Intermediate Scale Quantum”Ära zwar in der Lage sind, die Quanten-Fourier-Transformation von stark bandbegrenzten harmonischen Schwingungen zu verarbeiten. Jedoch verbietet der beschränkte Zugang zu komplexeren Quantencomputern, die notwendig sind um den Anforderungen an die Abtastfrequenz von Sprachsignalen in Bezug auf Zeit- und Frequenzauflösung zu erfüllen,

ix eine Anwendung in praktischen Spracherkennungsszenarien.

Durch die Verwendung einer Simulationsumgebung mit dem Rauschmodell eines Quantencomputers in Kombination mit den in dieser Arbeit entwickelten Ansätze, ermöglicht das mit dem kurzzeit-Quanten-Fourier-Transformation erzeugte Spektrogramm dem Neuronalen Netzwerk eine Testgenauigkeit von 89.92 %, während jedoch die auf realen Geräten potentielle Geschwindigkeitssteigerung verloren geht. Obwohl die Genauigkeit nicht über der Referenz liegt und das Rauschen und die Kapazität von “Noisy Intermediate Scale Quantum”Geräten die Anwendbarkeit von Spracherkennung mit Quantenvorteil einschränkt, motivieren die Ergebnisse zu weiteren Untersuchungen in praktischen Anwendungen der Quanten-Fourier-Transformation für die Sprachverarbeitung.

Human-machine interaction in general and speech processing (SP) in particular are keydisciplines in today’s consumer electronics. While the computational power of smart devices heavily increased within the last couple of years, tasks such as speech recognition (SR) still mainly rely on cloud based solutions. In such architectures, not only high accuracy, but also quick response time and fast inference are essential for providing a pleasant user experience. State of the art approaches use machine learning (ML) based solutions for recognition of spoken words making use of high-performance hardware and huge datasets. ... mehrBesides the actual training and inference of such ML models, SR requires the extraction of acoustic features from the recorded speech. Spectrograms have proven to be a well-suited feature space and are broadly being used in many ML based frameworks.

An application of quantum computing (QC) in a SR pipeline was previously proposed in [YQC+20b] where a neural network (NN) trained on quantum manipulated spectrogram slightly surpassed the validation accuracy of the classical approach.

However, quantum computers are foremost known for their potential speedup in certain applications and given that the quantum Fourier transform (QFT), the quantum equivalent of the Fourier transform (FT), is just such an algorithm, the natural question and thus topic of this thesis arises, if there are options or preferably advantages, utilizing the QFT for spectrogram generation.

This requires construction of an adequate framework where a short time quantum Fourier transform (STQFT) is developed, optimization of the STQFT and post processing involving noise mitigation applied and finally evaluated based on the performance of the NN. Since speech synthesis (SS), as another subcategory of SP, requires a completely different framework and comes with another set of challenges, although many of the insights of SR can be transferred, this thesis focuses exclusively on SR.

By using a modular approach, different signal types as well as transformations can be quickly interchanged and tested either in simulation or on real quantum computers. For evaluating the performance of the NN given features from variant STQFT configurations, the architecture proposed in [YQC+20b] is used as a starting point and their accuracy of 95.12 % as a baseline value.

Experiments show that although quantum computers in the noisy intermediate scale quantum (NISQ) era are capable of processing the QFT of band-limited harmonic oscillations, waiting queues and the restricted access to complex quantum systems forbid an application of more complex QFTs necessary to meet the requirements for the sampling frequency of speech signals w.r.t. time and frequency resolution in a real SR application.

However, by using a simulation environment and the noise model of a real quantum device, the spectrograms generated with the STQFT enables the NN to achieve a competitive test accuracy of 89.92 %, whilst forfeit the speedup gained on real devices. Although the accuracy did not surpass the baseline and noise and circuit capacity of NISQ devices restricts the applicability of SR with quantum advantage, the results motivate further investigations in practical applications of the QFT and STQFT for speech processing.