Investigating radar-to-depth cross-sensor gait recognition via GANs

In dieser Arbeit wird untersucht, ob eine GAN-basierte Radar-zu-Tiefen-Translation die nachgelagerte Erkennung mit einem bestehenden tiefenbasierten Gangerkennungsmodell ermöglichen kann. Diese Frage ist datenschutzrelevant, da sie eine Gangerkennung für Radardaten ermöglichen würde, ohne dass ein explizit mit Identitäten beschrifteter Radardatensatz erforderlich wäre. Um diesen Ansatz zu untersuchen, wird ein GAN-basiertes Translationsmodell vorgeschlagen, das aus einem PointNet-Encoder, einem FiLM-konditionierten konvolutionellen Decoder und einem PatchGAN-Diskriminator besteht. ... mehrDas Modell wird auf einem gepaarten, aber unmarkierten Radar-Tiefen-Datensatz trainiert und durch nachgelagerte Erkennung mit einem tiefenbasierten Gangerkennungsmodell evaluiert. Die Ergebnisse zeigen, dass dieses Radar-zu-Tiefen-Modell eine nachgelagerte Erkennung in begrenztem, aber messbarem Umfang (Rank-1-Genauigkeit: 5, 66%) über dem Zufallsniveau (2, 63%) ermöglicht. Dies zeigt, dass identitätsrelevante Gangmerkmale während der Übersetzung zumindest teilweise erhalten bleiben. Es zeigt jedoch auch eine erhebliche Lücke zur Erkennungsleistung bei echten Tiefensequenzen auf. Daher wird zwar kein starker Erkennungsangriff etabliert, aber ein plausibler Pfad für ein Datenschutzrisiko aufgezeigt, der die Lücke zwischen Radar- und Tiefensensoren für die Gangart-Erkennung überbrückt.

This thesis examines whether GAN-based radar-to-depth translation can enable downstream recognition with an existing depth-based gait-recognition model. This question is privacy-relevant as it would enable gait recognition for radar data without requiring an explicitly identity-labeled radar dataset. To study this setting, a GAN-based translation model is proposed, consisting of a PointNet encoder, a FiLM-conditioned convolutional decoder, and a PatchGAN discriminator. The model is trained on a paired but unlabeled radar-depth dataset and evaluated through downstream recognition with a depth-based gait recognition model. ... mehrThe results show that this radar-to-depth model enables downstream recognition to a limited but measurable extent (Rank-1 accuracy: 5.66%) above the chance level (2.63%). This demonstrates that identity-relevant gait characteristics are preserved during translation at least for some parts. However, it also showcases a substantial gap towards the recognition performance on real depth sequences. Therefore, not a strong recognition attack is established, but a plausible privacy risk pathway is demonstrated that bridges the gap between radar and depth sensors for gait recognition.