Gutachten: Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz + Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme

31.08.2023 - von Prof. Indra Spiecker gen. Döhmann, LL.M., Prof. Emanuel V. Towfigh

Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme
Rechtsgutachten im Auftrag der Antidiskriminierungsstelle des Bundes

Inhaltsverzeichnis
Gutachtenauftrag 9
Zusammenfassung der Ergebnisse 11
Rechtsgutachten 14

1 Diskriminierung durch algorithmische Systeme 14
1.1 Algorithmische Systeme 14
1.1.1 Algorithmen und ihre Funktionsweise 14
1.1.2 Algorithmische Entscheidungssysteme 15
1.2 Diskriminierung 17
1.2.1 Arten von Diskriminierung 17
1.2.1.1 Unmittelbare Diskriminierung 17
1.2.1.2 Mittelbare Diskriminierung 17
1.2.1.3 Intersektionale Diskriminierung 18
1.2.1.4 Proxy-Diskriminierung 18
1.2.1.5 Diskriminierung durch ADM-Systeme im Spannungsfeld dieser Kategorien 19
1.2.2 Dilemma der Differenz und Essentialisierung 20
1.2.3 Besonderes Diskriminierungspotenzial von Algorithmen 21
1.3 Besondere Probleme und Risiken algorithmischer Diskriminierung 23
1.3.1 Typische Einsatzfelder algorithmischer Systeme mit Diskriminierungspotenzial 23
1.3.2 Diskriminierung durch Input (Dateneingabe) oder Output (Anwendung des Algorithmus) 25
1.3.3 Geschwindigkeit und Umfang der Ausbreitung von Diskriminierung durch Algorithmen 27
1.3.4 Intransparenz 28
1.3.5 Verantwortlichkeit für die Diskriminierung 29
1.4 Zwischenfazit 31

2 Herausforderungen durch digitalisierungsbedingte Diskriminierung für das Allgemeine
Gleichbehandlungsgesetz (AGG) 32
2.1 Europarecht 32
2.2 Deutsches Verfassungsrecht: Artikel 3 Absatz 1 und 3 GG 35
2.2.1 Bedeutung von Artikel 3 GG für den
Diskriminierungsschutz 35
2.2.2 Artikel 3 GG und Diskriminierung aufgrund
nicht geschützter Proxies 38
2.2.3 Grundrechtsbindung Privater 39
2.3 Allgemeines Gleichbehandlungsgesetz 41
2.3.1 Diskriminierungstatbestände des AGG 41
2.3.1.1 Anwendungsbereich 41
2.3.1.2 Geschützte Merkmale 43
2.3.1.3 Adressat*innen 45
2.3.2 Akteure des AGG 46
2.3.3 Ansprüche nach dem AGG – Überblick 48
2.3.3.1 Schadensersatz und Entschädigung 48
2.3.3.2 Schutzpflichten (Arbeitgeber*innen) 48
2.3.3.3 Unionsrechtliche Bedenken gegen die Haftungssystematik des AGG 49
2.3.4 Rechtfertigung von Benachteiligungen 51
2.3.4.1 Verhältnismäßigkeit der Benachteiligung 52
2.3.4.2 Rechtfertigung von Benachteiligungen bei Massengeschäften 53
2.3.4.3 Rechtfertigung algorithmischer Diskriminierung 54
2.3.5 Rechtsschutzmöglichkeiten aufgrund des AGG 56
2.3.5.1 Allgemein: Defizitäre Strukturen für die Durchsetzung von Antidiskriminierungsrecht 56
2.3.5.2 Instrumente zur Verbesserung des Rechtsschutzes im AGG 58
2.4 Zwischenfazit 61

2.5 KI-Verordnung 62
2.5.1 Wesentliche Rechtsregelungen und Intentionen 62
2.5.2 Schutzlücken 66
2.6 Zwischenfazit 68
3 Lösungsvorschläge 69
3.1 Verbesserung des individuellen Rechtsschutzes Betroffener 69
3.1.1 Begrenzung des Transparenzrisikos durch Beweiserleichterungen des § 22 AGG 70
3.1.2 Erweiterung des Anwendungsbereichs des AGG 72
3.1.2.1 Ergänzung von § 1 AGG 72
3.1.2.2 Ergänzung der Legaldefinition des § 3 Absatz 2 AGG 73
3.1.2.3 Erweiterung des § 2 Absatz 1 AGG 74
3.1.2.4 Erweiterung des Anwendungsbereichs von § 19 AGG 75
3.1.3 Erweiterung des Adressatenkreises des AGG 76
3.1.4 Angemessenheitsmaßstab zur Rechtfertigung von
Benachteiligungen nach § 3 Absatz 2 AGG 77
3.2 Die Rolle institutioneller Akteure 79
3.2.1 Kompetenzerweiterung der Antidiskriminierungsstelle 79
3.2.1.1 Verbandsklagerechte 79
3.2.1.2 Einführung eines Verbandsklagerechts im AGG 85
3.2.1.3 Prozessstandschaft 87
3.2.1.4 Schlichtungsverfahren bei der Antidiskriminierungsstelle 88
3.2.1.5 Auskunftsrecht der Antidiskriminierungsstelle 91
3.2.1.6 Untersuchungsrechte nach KI-VO-E 92
3.2.2 Behördliche Aufsichtsbefugnisse 95
3.2.3 Selbstregulierungsmaßnahmen auf Seiten der Verwender*innen 98
Literaturverzeichnis 102

Vorgelegt von
Prof. Dr. iur. Indra Spiecker gen. Döhmann, LL.M. (Georgetown Univ.)
Prof. Dr. iur. Emanuel V. Towfigh
April 2023
Veröffentlicht von der Antidiskriminierungsstelle des Bundes im August 2023

Rechtsgutachten "Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme" als pdf (nicht barrierefrei) abrufbar unter: Link

Quelle: Antidiskriminierungsstelle des Bundes