Leveraging Synthetic Data for Video-based Human Activity Recognition

Deep Learning hat die Erkennung menschlicher Aktivitäten erheblich vorangebracht und Anwendungen von der Gesundheitsüberwachung bis zur assistiven Robotik ermöglicht. Der Erfolg heutiger Systeme beruht jedoch auf umfangreichen Aufnahmen realer Personen in realen Umgebungen, die gravierende Datenschutzbedenken aufwerfen und dennoch nicht die Vielfalt bieten, die für einen robusten Einsatz erforderlich wäre. Bei der Analyse bestehender Datensätze und Trainingspipelines treten vier zentrale Einschränkungen zutage: (1) Gestellte Aufnahmen sind kostspielig und logistisch aufwendig, was den Umfang begrenzt und den Einsatz webbasierten Videomaterials motiviert; (2) Daten aus sozialen Medien sind stark auf teilbare Inhalte verzerrt und blenden sensible, alltägliche oder unvorteilhafte Aktivitäten aus, die in der Praxis häufig besonders relevant sind; (3) die in solchen Aufnahmen gezeigten Personen erteilen nur selten eine informierte Einwilligung zur nachgelagerten Nutzung in Machine-Learning-Systemen; und (4) die Datenerhebung hält nicht mit den Fortschritten in Rechenleistung und Modellkapazität Schritt, sodass das Feld in ein absehbares Regime der Datenknappheit gedrängt wird, in dem verbesserte Architekturen nicht voll ausgeschöpft werden können. ... mehrDaraus ergibt sich die grundlegende Frage, ob synthetische Datengenerierung nicht nur als Ersatz für reale Aufnahmen dienen kann, sondern als prinzipielles Werkzeug, um Einschränkungen zu überwinden, die mit realer Datenerhebung nicht lösbar sind.

Diese Dissertation untersucht synthetische Daten als systematische Grundlage für die menschliche Aktivitätserkennung entlang dreier Forschungsrichtungen.
Erstens führen wir zur rigorosen Untersuchung der Synthetic-to-Real-Domänenlücke einen Benchmark ein, der synthetische Daten aus einem Lebenssimulationsspiel mit realweltlicher Evaluierung verknüpft. Unsere Analyse zeigt erhebliche Leistungseinbußen, wenn Modelle, die ausschließlich auf synthetischen Videos trainiert wurden, mit realen Einsatzbedingungen konfrontiert werden. Um dem zu begegnen, untersuchen wir komplementäre Strategien: Domänenanpassungsmethoden, die Modellvorhersagen an Zielverteilungen kalibrieren, sowie multimodale Domänengenerierung, die vielfältige neue Modalitäten synthetisiert, ohne direkten Zugriff auf die Ziel-Domäne zu benötigen. Zusammengenommen steigern diese Ansätze die Robustheit gegenüber Domänenverschiebungen deutlich.

Zweitens nutzen wir parametrische menschliche Körpermodelle für kontrollierbares, umfangreiches Rendering menschlicher Aktivitäten. Diese Modelle ermöglichen eine präzise Steuerung von Pose, Körperform, Kameraperspektive und Umgebung und erzeugen synthetische Datensätze, die sich effektiv auf reale Benchmarks übertragen lassen. Durch die Kopplung parametrischer Avatare mit biomechanischer Simulation generieren wir zudem latente physiologische Größen wie Muskelaktivierungen, die für Kameras unsichtbar sind. Dies eröffnet neue Forschungsrichtungen zur Schätzung körperlicher Belastung, Verletzungsrisiko oder rehabilitationsrelevanter Größen aus visuellen Daten.

Drittens adressieren wir Einsatzszenarien, in denen reale Datenerhebung auf grundlegende ethische und praktische Hürden stößt, etwa bei der Sturzerkennung für ältere Menschen. Wir zeigen, dass synthetische Sturzvideos mit systematischer Variation in Demografie, Körpertypen und Umgebungen reale gestellte Daten übertreffen können, wenn sie auf Datensätzen mit echten Unfällen evaluiert werden, und damit die verbreitete Annahme in Frage stellen, synthetische Daten seien realen Aufnahmen grundsätzlich unterlegen. Um einen datenschutzwahrenden Einsatz in sensiblen Kontexten zu ermöglichen, entwickeln wir Anonymisierungsmethoden, die sowohl Personen als auch ihre Wohnumgebungen schützen, indem sie avatarbasierte Ersetzungen der Probanden mit selektiven Privacy-Mechanismen für Hintergrundbereiche kombinieren.

Insgesamt zeigt diese Dissertation, dass sorgfältig entworfene synthetische Daten realen Aufnahmen ebenbürtig sein und sie in entscheidenden Dimensionen sogar übertreffen können. Durch Kontrollierbarkeit, demografische Vielfalt und eingebaute Datenschutzgarantien etablieren sich synthetische Daten als zentrales Werkzeug für den Aufbau von Systemen zur Aktivitätserkennung, die robust, ethisch vertretbar und praktisch in realen Umgebungen einsetzbar sind.

Deep learning has advanced human activity recognition, enabling applications from healthcare to assistive robotics. Yet, the success of systems hinges on large-scale recordings of people in real environments, raising privacy concerns and failing to deliver diversity needed for robust deployment. When examining datasets and training pipelines, four limitations become apparent: (1) staged recordings are expensive, restricting scale and motivating a shift to web-sourced video; (2) social media data is strongly biased toward shareable content, omitting sensitive, mundane, or unflattering activities that are relevant in practice; (3) individuals appearing in such recordings rarely provide informed consent for machine learning use; and (4) data collection cannot keep pace with advances in compute, pushing the field toward a data-scarce regime where architectures cannot be exploited. ... mehrThis raises the question: can synthetic data serve not merely as a surrogate but as a principled tool to overcome limitations of data collected from the real world?

This thesis investigates synthetic data as a foundation for activity recognition along three directions.
First, to study the synthetic-to-real domain gap, we introduce a benchmark pairing synthetic data from a life simulation game with real-world evaluation. Our analysis reveals performance degradation when models trained on synthetic videos are confronted with deployment conditions. To address this, we explore strategies: domain adaptation methods that calibrate model predictions to target distributions and multimodal domain generation synthesizing diverse new modalities without direct access to the target domain. Together, these methods improve cross-domain robustness.

Second, we leverage parametric human body models for controllable large-scale rendering of activities. These models enable manipulation of pose, shape, viewpoint, and environment, yielding synthetic datasets that transfer to real benchmarks. By coupling parametric avatars with biomechanical simulation, we generate physiological quantities such as joint torques and muscle activations that are invisible to cameras. This opens up new research directions for estimating physical effort, injury risk, or rehabilitation-relevant quantities from vision, where large-scale measurement is infeasible.

Third, we target deployment scenarios where real data collection faces ethical and practical barriers, such as fall detection for elderly individuals. We show that synthetic fall videos with variation in demographics, body types, and environments can outperform real staged data when evaluated on accident datasets, challenging the assumption that synthetic data is inferior to real recordings. To enable privacy-preserving deployment, we develop anonymization methods that protect individuals and living spaces by combining avatar-based replacement of subjects with privacy mechanisms for background regions.

Overall, this thesis demonstrates that synthetic data can induce severe domain gaps and limit performance, but considering more advanced data generation methods it can also rival and even exceed real recordings. By providing controllability, demographic diversity, and privacy, synthetic data emerges as a central tool for building robust, ethically acceptable, and practically deployable human activity recognition systems.