Domain Knowledge Infusion in Machine Learning for Digital Signal Processing Applications : An in-depth case study on table tennis stroke recognition

Diese Arbeit untersucht die Infusion von Domänenwissen als eine Möglichkeit zur Optimierung von Anwendungen des maschinellen Lernens in der Signalverarbeitung. Als Anwendungsbeispiel wird die Erkennung von Tischtennisschlägen anhand von Signalen detailliert analysiert. Die Signale stammen von Sensoren, die in einer am Handgelenk getragenen Smartwatch integriert sind. Domänenwissen wird auf verschiedenen Abstraktionsebenen verwendet, um die Schlagerkennung und -klassifikation zu verbessern. Diese reichen von der Wahl und Fusion tischtennisrelevanter Sensoren, über Low-Level-Signalkorrekturen, bis hin zu Zustandsautomaten, die basierend auf dem Wissen über gültige Schlagsequenzen eine Selbstkorrektur von Fehlklassifikationen ermöglichen. ... mehrDie Evaluation des LSTMbasierten Prototyps zeigt, dass er erfolgreich zwischen Spiel/kein Spiel, Schlag/kein Schlag, und acht Schlagarten (Vorhand/Rückhand Konter, Topspin, Block, Unterschnitt) unterscheiden kann, sowie Metriken zukünftiger Schläge zur Analyse des Spielstils basierend auf vergangenen Schlägen vorhersagen kann. Das System wurde basierend auf 3770 Schlägen von zwei langjährigen Tischtennisspielern entwickelt und validiert. Die Daten wurden in einer kontrollierten Umgebung unter Zuhilfenahme eines Tischtennisroboters gesammelt, der Bälle präzise servieren kann.

This work explores the infusion of domain knowledge as a way to improve machine learning applications in signal processing. Table tennis stroke detection is used here as an in-depth exemplary use case with signals collected from the sensors of a wrist-worn smartwatch. Domain knowledge is leveraged at various abstraction levels to improve stroke detection and classification, ranging from low-level signal corrections, context-dependent sensor fusion, stroke type characteristics, to valid gameplay state machines that allow self-correction of misclassifications. An LSTM based prototype is shown to successfully distinguish between play/no play, stroke/no stroke, length of stroke, eight types of strokes (drive, loop, block, push for forehand/backhand), as well as to predict metrics of future strokes based on past strokes. ... mehrTraining and validation was performed by two semi-professional table tennis players using a table tennis robot serving 3770 precisely controlled shots.