Multilingual Modulation by Neural Language Codes
Abstract:
Multilinguale Spracherkennung bleibt eine der großen Herausforderungen in der Sprachverarbeitung. Jede der mehr als 7000 Sprachen der Welt, ebenso wie viele Akzente und Dialekte, benötigen ein eigenes akustisches Modell um eine akzeptable Erkennungsleistung zu erreichen. Wir schlagen einen Ansatz basieren auf einem großen, multilingualen Modell vor, welches mittels Sprachencodes schnell adaptiert werden kann. Extrahiert durch ein zusätzliches neuronales Netzwerk, kodieren die Sprachencodes Eigenschaften von Sprachen welche dazu genutzt werden, um die Aktivierungen von Neuronen in einem multilingualen akustischen Modell zu steuern. ... mehr
Abstract (englisch):
Multilingual Speech Recognition remains one of the great challenges in speech processing.
Each of the 7,000+ languages of the world and also many different accents and dialects require their own acoustic model to achieve acceptable recognition performance.
We propose an approach based on a large multilingual model, which is adapted rapidly using learned language codes.
Extracted via an auxiliary neural network, the language codes encode language properties which are used to gate the activity of neurons in the multilingual acoustic model network.
Using such a large multilingual model and this language modulation, we are not only able to achieve parity with monolingually trained models, but even surpass their performance.
Each of the 7,000+ languages of the world and also many different accents and dialects require their own acoustic model to achieve acceptable recognition performance.
We propose an approach based on a large multilingual model, which is adapted rapidly using learned language codes.
Extracted via an auxiliary neural network, the language codes encode language properties which are used to gate the activity of neurons in the multilingual acoustic model network.
Using such a large multilingual model and this language modulation, we are not only able to achieve parity with monolingually trained models, but even surpass their performance.
| Zugehörige Institution(en) am KIT | Institut für Anthropomatik und Robotik (IAR) |
| Publikationstyp | Hochschulschrift |
| Publikationsjahr | 2018 |
| Sprache | Englisch |
| Identifikator | urn:nbn:de:swb:90-884862 KITopen-ID: 1000088486 |
| Verlag | Karlsruher Institut für Technologie (KIT) |
| Umfang | XI, XVII, 152 S. |
| Art der Arbeit | Dissertation |
| Fakultät | Fakultät für Informatik (INFORMATIK) |
| Institut | Institut für Anthropomatik und Robotik (IAR) |
| Prüfungsdatum | 29.06.2018 |
| Schlagwörter | Automatic Speech Recognition / Neural Networks / Multilingual / Adaptation / Neural Modulation |
| Referent/Betreuer | Waibel, A. |