Federated Learning for Private Synthetic Data Generation

Die digitale Transformation des Gesundheitswesens hat in den letzten Jahren an Dynamik gewonnen, wie die Einführung von Electronic Health Record (EHR)-Systemen und digitalen Infrastrukturen zum Datenaustausch zwischen allen Akteuren im Gesundheitssektor zeigt. In Deutschland werden Versicherte demnächst die Möglichkeit haben, die in ihrer elektronischen Patientenakte gespeicherten Daten freiwillig für medizinische Forschungszwecke zu spenden. Die Sekundärnutzung medizinischer Real-World-Daten birgt zwar ein großes Potenzial, etwa bei der Überwachung von Langzeitergebnissen im Zusammenhang mit bestimmten Behandlungen, wirft aber auch erhebliche Bedenken hinsichtlich des Schutzes der Privatsphäre auf, da Gesundheitsdaten aufgrund des Risikos von Stigmatisierung oder Diskriminierung infolge einer missbräuchlichen Nutzung besonders schützenswert sind.
... mehr
Aus diesem Grund wurden in der Literatur verschiedene Privacy-Enhancing Technologies (PETs) vorgestellt. So ermöglicht beispielsweise Differential Privacy (DP), die Auswirkungen von Datenanalysen auf die Privatsphäre durch Einfügen von sorgfältig kalibriertem Rauschen zu begrenzen. Mit den jüngsten Fortschritten im Bereich des maschinellen Lernens hat die Generierung synthetischer Daten (SDG) mithilfe von Generative Adversarial Networks (GANs) als Verfahren zum Schutz der Privatsphäre an Aufmerksamkeit gewonnen. Des Weiteren erlaubt Federated Learning (FL) das dezentrale Training von Machine-Learning-Modellen. Durch die Kombination von DP, SDG und FL können synthetische Daten kollaborativ erzeugt werden, die sowohl starke Datenschutzgarantien als auch einen Mehrwert für die Forschung bieten, während gleichzeitig die Trainingsdaten nicht mit einer zentralen Instanz geteilt werden müssen.
In dieser Masterarbeit wird ein neuartiger Ansatz namens DP-Fed-CTGAN zur Erzeugung synthetischer tabellarischer Daten vorgestellt, der auf FL beruht und strikte DP-Garantien erfüllt. Verglichen mit bestehenden Ansätzen zielt DP-Fed-CTGAN darauf ab, die Menge an Informationen zu minimieren, die Clients während des FL-Verfahrens über ihre lokalen Trainingsdatensätze preisgeben müssen. Die Performanz der Open-Source-Implementierung von DP-Fed-CTGAN wird anhand gängiger Metriken evaluiert, wobei sowohl medizinische als auch häufig verwendete Machine-Learning-Datensätze betrachtet werden. Die Ergebnisse zeigen, dass DP-Fed-CTGAN nicht nur einen vergleichbaren Nutzen und eine verbesserte Realitätsnähe im Vergleich zum zentralen Ansatz von DP-CTGAN erreicht, sondern auch dazu beitragen kann, die Akzeptanz der Patienten für eine Datenspende zu erhöhen und die Einhaltung der Datenschutzgesetze zu erleichtern.

The digital transformation of the healthcare sector has gained momentum in recent years, as illustrated by the introduction of electronic health record (EHR) systems and digital infrastructures that allow the exchange of data between all stakeholders in the healthcare domain. In Germany, insured individuals will soon have the option to voluntarily donate their data stored in the nationwide EHR system for medical research purposes. While the secondary use of real-world medical data holds great potential, such as by monitoring long-term outcomes related to specific treatments, it also raises significant privacy concerns, as health data require strict protection due to the risk of stigmatization or discrimination if misused.
... mehr
For this reason, various privacy-enhancing technologies (PETs) have been proposed in the literature. One such PET is differential privacy (DP), which bounds the privacy impact of data analyses by injecting carefully calibrated noise. Moreover, with recent advances in machine learning, the generation of synthetic data using generative adversarial networks (GANs) has gained attention as a privacy-preserving technique. Additionally, federated learning (FL) allows the training of machine learning models in a decentralized manner. Combining DP, synthetic data generation (SDG), and FL enables the collaborative generation of synthetic data that provide both strong privacy guarantees and value for research, while at the same time the training data do not have to be shared with a central entity.
In this master’s thesis, we propose a novel approach called DP-Fed-CTGAN for generating synthetic tabular data utilizing FL under rigorous DP guarantees. Compared to existing approaches, DP-Fed-CTGAN aims to minimize the amount of information that clients have to share about their local training datasets during the FL procedure. We evaluate the performance of our open-source implementation of DP-Fed-CTGAN in terms of various utility and fidelity metrics, considering both medical and commonly used machine learning datasets. The results demonstrate that DP-Fed-CTGAN not only achieves comparable utility and improved fidelity compared to the centralized setting represented by DP-CTGAN, but can also help to increase patient acceptance of a data donation and to facilitate adherence to data protection legislation.