Development of an assistant system for regulating the mental strain state of agricultural machinery operators

Die zunehmende Automatisierung landwirtschaftlicher Maschinen führt bei Bedienenden zu wechselnden Phasen mentaler Unter- und Überforderung, die Leistung, Sicherheit und Wohlbefinden beeinträchtigen können. Die vorliegende Dissertation beschreibt die Entwicklung und Evaluation eines adaptiven Assistenzsystems, das den mentalen Beanspruchungszustand von Maschinenführern in Echtzeit erfasst, bewertet und reguliert.
Als Anwendungsbeispiel diente ein hochautomatisierter Mähdrescher, der in einer immersiven Demonstrator-Kabine für experimentelle Studien simuliert wurde. Multimodale Sensordaten, darunter physiologische Messgrößen wie Eye-Tracking-Parameter und kardiovaskuläre Signale, wurden genutzt, um ein Machine-Learning-Modell zu trainieren, das den mentalen Zustand klassifizieren kann. ... mehrDieses Modell wurde in einen modularen, virtuellen Assistenten integriert, der situationsabhängige Handlungsempfehlungen über Sprach- und Touchschnittstellen bereitstellt, um Unter- oder Überforderung gezielt zu vermeiden.
Experimentelle Studien in der Demonstrator-Kabine zeigten, dass das System mentale Beanspruchung erkennen und durch gezielte Handlungsempfehlungen beeinflussen kann. Eine anschließende Feldstudie an einem realen Mähdrescher bestätigte die praktische Anwendbarkeit und identifizierte Optimierungspotenziale hinsichtlich Systemintegration und Nutzerakzeptanz.
Die Ergebnisse verdeutlichen, dass die adaptive Beanspruchungsregulation kritische Beanspruchungszustände gezielt reduzieren und damit Sicherheit, Effizienz und Zufriedenheit der Bedienenden steigern kann. Perspektivisch kann das entwickelte Konzept auf andere landwirtschaftliche Maschinen sowie auf andere hochautomatisierte Arbeitsumgebungen übertragen werden, wodurch neue Ansätze für adaptive, menschenzentrierte Assistenzsysteme entstehen.

The increasing automation of agricultural machinery leads to fluctuating phases of mental underload and overload for operators, which can impair performance, safety, and well-being. This dissertation describes the development and evaluation of an adaptive assistance system that monitors, evaluates, and regulates the mental strain of machine operators in real time.
As an application example, a highly automated combine harvester was used, simulated in an immersive demonstrator cabin for experimental studies. Multimodal sensor data, including physiological metrics such as eye-tracking parameters and cardiovascular signals, were utilized to train a machine learning model capable of classifying the mental state. ... mehrThis model was integrated into a modular virtual assistant, which provides context-dependent task recommendations via voice and touch interfaces in order to prevent critical mental strain states such as underload or overload.
Experimental studies in the demonstrator cabin demonstrated that the system can detect mental strain and regulate it through targeted task recommendations. A subsequent field study on a real combine harvester confirmed practical applicability and identified optimization potential regarding system integration and user acceptance.
The results indicate that adaptive mental strain regulation can specifically reduce critical stress conditions, thereby enhancing the safety, efficiency, and satisfaction of operators. In the future, the developed concept can be transferred to other agricultural machinery as well as other highly automated work environments, thereby creating new approaches for adaptive, human-centered assistance systems.