Eingebettetes Funksensornetzwerk zur Handlungserkennung beim Menschen mittels künstlicher Intelligenz

In der vorliegenden Arbeit werden Sensornetzwerke zur Handlungserkennung beim Menschen detailliert analysiert und ein darauf basierendes Konzept für ein Sensornetzwerk zur Prozesserfassung beim Kochen erarbeitet, vorgestellt und umgesetzt.
Das Sensorkonzept berücksichtigt dabei verschiedeneAspekte der avisierten Zielgruppe der Senior*innen, unter anderem leichte Bedienbarkeit, detaillierte Erkennung einzelner Kochschritte und eine einfach verständliche Unterstützung während des Kochens.
Der inhaltliche Kern wird von einer Signalstärkemessung mittels Sensorknoten an verschiedenen Küchenutensilien gebildet, die während der Zubereitung eines Rezepts der Lokalisierung dienen, um damit die Objektinteraktionen abzubilden.
... mehr
Die Sensorknoten werden hierzu basierend auf einer Anforderungsanalyse eigens spezifiziert, entworfen und implementiert.
Des Weiteren werden Methoden der künstlichen Intelligenz eingesetzt, um aus diesen Signalstärkemessungen das Kochrezept, sowie den aktuellen und nächsten Kochschritt zu prädizieren. KI-Modelle werden hierbei an verschiedenen Stellen
des Gesamtsystems eingesetzt: Einerseits serverseitig im Hintergrund, als auch eingebettet auf den Sensorknoten selbst. Auf diese Weise kann den Nutzenden eine unmittelbare Hilfestellung angeboten werden, wenn beispielsweise ein einzelner
Teilschritt vergessen wird.
Am Ende der Arbeit wird das entwickelte System in einer realen Küche eingesetzt, um mittels Usability-Testing-Methoden zu überprüfen, in wie weit der Einsatz eines solchen Sensornetzwerks zielführende Unterstützung bieten kann.
Hierzu werden von einem Kollektiv an Testpersonen verschiedene Rezepte mit Zutaten gekocht und ein Vergleich zwischen Personen gezogen, die mit und ohne dem entwickelten System kochen.

In this thesis, sensor networks for activity recognition in humans are analyzed in detail and on this basis a concept for a sensor network for activity recognition during cooking is developed, presented and implemented. The sensor concept takes various aspects of the intended target group, including ease of use, detailed recognition of individual cooking steps and easy-to-understand support during cooking into account.
The content-related core is formed by a signal strength measurement using sensor nodes on various kitchen utensils, which are used for localization during a recipe in order to map the object interactions. ... mehrThe sensor nodes are specified, designed
and implemented based on a requirements analysis.
Furthermore, artificial intelligence methods are used to infer the recipe and also the current and next cooking step from these signal strength measurements. AI models are used at various points in the overall system, both in the background on the server side and embedded in the sensor nodes themselves. In this way, users can be offered immediate assistance if, for example, an individual sub-step is forgotten.
At the end of the thesis, the developed system is used in a real kitchen. By applying usability testing methods, the extent to which the use of such a sensor network can provide targeted support is checked. For this purpose, a group of test subjects cooks various recipes with real ingredients and a comparison is made between people cooking with and without the developed system.