Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen – ein Überblick

Algorithmische Entscheidungssysteme (AES), also programmierte Verfahren, die aus einem bestimmten Input in verschiedenen, genau definierten Schrittfolgen einen Output berechnen und eine Entscheidung(sempfehlung) ableiten, begegnen uns im Alltag häufig: Sie bestimmen die beste Strecke für eine geplante Fahrt, den passenden Partner in einer Singlebörse oder die eigene Kreditwürdigkeit. Damit stellen sie mehr oder weniger bedeutsame Weichen und bestimmen somit möglicherweise über Lebenschancen – oft, ohne dass es der oder dem Betroffenen bewusst ist.
Aufgrund ihrer zahlenbasierten Regelhaftigkeit könnten AES zunächst als objektivere Entscheidungsinstanzen angenommen werden. Einige medienwirksame Fälle von verzerrten maschinellen Entscheidungen – beispielsweise als ein Onlineversandhändler neue Mitarbeitende suchte und sein lernendes AES fast ausschließlich Männer vorschlug – wecken jedoch Zweifel an der Objektivität algorithmischer Entscheidungsempfehlungen und werfen die Frage auf, ob AES (un)fairere Entscheidungen als Menschen treffen: Verändern sich Diskriminierungsrisiken durch den Einsatz von AES?
Dieser Frage geht das TAB in der als Hintergrundpapier Nr. ... mehr24 erschienenen Studie nach, die anhand von vier Fallbeispielen aus den Bereichen der Arbeitsvermittlung, der medizinischen Versorgung, des Strafvollzugs und der automatisierten Personenerkennung nachzeichnet, dass Ungleichbehandlungen durch AES häufig Fortführungen »vordigitaler« Ungleichbehandlungen sind, und dabei zugleich verdeutlicht, dass die Frage, ob eine konkrete Ungleichbehandlung diskriminierend ist (oder nicht), innerhalb einer Gesellschaft und innerhalb der Rechtsprechung oftmals hoch umstritten ist. Abschließend stellt das Hintergrundpapier verschiedene Handlungsansätze zur Prävention von algorithmisch basierten Diskriminierungen vor.

Inhalt
Zusammenfassung 7
1 Einleitung 13
2 Algorithmische Entscheidungssysteme und maschinelles Lernen 17
2.1 Definitionen und Charakteristika von algorithmischen Systemen 17
2.2 Zielstellung und Entwicklung von algorithmischen Entscheidungssystemen 20
2.3 Algorithmen und künstliche Intelligenz in der öffentlichen Wahrnehmung 24
2.4 Mensch-Technik-Interaktionen: Wie gehen Menschen mit algorithmischen Entscheidungsvorschlägen um? 26
3 Ungleichbehandlung und Diskriminierung von Individuen und Gruppen 33
3.1 Definitionen und Charakteristika von sozialer Diskriminierung 33
3.2 Diskriminierung durch algorithmische Entscheidungssysteme 34
3.3 Statistische Ungleichbehandlung und statistische Diskriminierung 36
3.4 Rechtliche Aspekte des Umgangs mit Diskriminierung von Individuen und Gruppen 40
4 Fallbeispiele: Ungleichbehandlung durch AES in verschiedenen Lebensbereichen 49
4.1 Fallbeispiel 1: Ungleichbehandlung in der medizinischen Versorgung durch AES und ML 49
4.2 Fallbeispiel 2: Algorithmus zur Klassifizierung von Arbeitslosen in Österreich 51
4.3 Fallbeispiel 3: COMPAS, ein US-amerikanisches AES im Justizvollzug 54
4.4 Fallbeispiel 4: algorithmische Personenerkennung anhand visueller Daten in den USA 57
4.5 Gemeinsamkeiten und Unterschiede der vier Fallbeispiele 60
5 Handlungsoptionen 65
6 Literatur 75
7 Anhang 83
7.1 Abbildungen 83
7.2 Tabellen 83