Studie: Diskriminierungsrisiken durch Verwendung von Algorithmen

16.09.2019 - von Dr. Carsten Orwat, Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) Karlsruher Institut für Technologie

Dr. Carsten Orwat hat 2019 die Studie "Diskriminierungsrisiken durch Verwendung von Algorithmen" vorgelegt.

Die Differenzierung von Personengruppen, wie sie von Algorithmen im Hinblick auf die unterschiedlichsten Informationen, Produkte, Dienste, Entgelt oder Positionen vorgenommen werden, kann dabei insbesondere dann problematisch sein, wenn sie direkt oder indirekt an gesetzlich verbotene Gründe wie das Alter, eine Behinderung, die ethnische Herkunft, das Geschlecht die Religion oder Weltanschauung oder die sexuelle Identität anknüpft.

Anhand von zahlreichen Fallbeispielen zeigt die Studie nicht nur technische und gesellschaftliche Ursachen von Diskriminierungsmöglichkeiten, sondern vor allem auch die daraus resultierenden Risiken auf. Der Autor Dr. Carsten Orwat diskutiert dabei auch den Bedarf an Reformen im Antidiskriminierungs- und Datenschutzrecht und die Notwendigkeit gesellschaftlicher Abwägungen, welche algorithmen- und datenbasierten Differenzierungen in einer Gesellschaft für akzeptabel gehalten werden können.

""Die Studie zeigt klar: Es gibt erhebliche Diskriminierungsrisiken; sie bestehen bereits heute und in zahlreichen Lebensbereichen"", sagt der kommissarische Leiter der Antidiskriminierungsstelle, Bernhard Franke. ""Die gute Nachricht ist: Das Allgemeine Gleichbehandlungsgesetz ("AGG") gibt mit seinen analog wie digital geltenden Diskriminierungsverboten bereits die richtigen Antworten. Wir brauchen also kein gänzlich neues Recht, sondern müssen das bestehende zukunftsfest machen.""

Die Studie benennt konkrete Regulierungsempfehlungen wie ein Einsichtsrecht in Algorithmen für Antidiskriminierungsstellen und die Etablierung so genannter Algorithmen-Audits, um die Identifizierung und den Nachweis algorithmenbasierter Diskriminierungen zu vereinfachen und die Rechte Betroffener zu stärken. Dazu gehört auch die Schaffung präventiver Angebote wie beispielsweise die Schulung von Personal- bzw. IT-Verantwortlichen. Auch sollten Unternehmen und Verwaltungen, die Algorithmen in rechtlich sensiblen Bereichen nutzen, konkrete Dokumentationspflichten auferlegt werden, um Diskriminierungen zu vermeiden.

Die Antidiskriminierungsstelle des Bundes hat die Studie am heutigen Montag, den 16. September 2019 im Rahmen eines Fachgesprächs in Berlin vorgestellt. Die Studie steht hier zum Download zur Verfügung.

Die Antidiskriminierungsstelle des Bundes ist eine unabhängige Anlaufstelle für Menschen, die von Diskriminierung betroffen sind. Sie wurde 2006 mit Inkrafttreten des Allgemeinen Gleichbehandlungsgesetzes eingerichtet. Sie betreibt Öffentlichkeitsarbeit und Forschung zum Thema Diskriminierung und bietet eine rechtliche Erstberatung für Menschen, die aufgrund der ethnischen Herkunft, Religion, Weltanschauung, sexuellen Identität, des Alters, einer Behinderung oder des Geschlechts benachteiligt worden sind.



Inhaltsverzeichnis
Tabellenverzeichnis
Abkürzungsverzeichnis
Danksagung und Finanzierung
Zusammenfassung

1. Einleitung

2. Begriffe und grundlegende Entwicklungen
2.1 Algorithmen
2.2 Entwicklungen bei der Daten­verarbeitung
2.2.1 Ausweitung der Menge an personen­beziehbaren Daten
2.2.2 Ausweitung der algorithmenbasierten Analysemethoden
2.3 Algorithmen- und datenbasierte Differenzierungen
2.3.1 Typen der Differenzierung
2.3.2 Anwendungsbereiche
2.3.3 Automatisierte Entscheidungen

3. Diskriminierung
3.1 Begriffe und Verständnis
3.2 Typen von Diskriminierung
3.3 Statistische Diskriminierung
3.4 Veränderungen bei der statistischen Diskriminierung

4. Beispielfälle von Ungleichbehandlungen, Dis­kriminierungen und Nachweismöglichkeiten
4.1 Arbeitsleben
4.2 Immobilienmarkt
4.3 Handel
4.4 Werbung und Suchmaschinen
4.5 Kreditwirtschaft
4.6 Medizin
4.7 Verkehr
4.8 Staatliche Sozialleistungen und Aufsicht
4.9 Bildungswesen
4.10 Polizeiwesen
4.11 Strafvollzug
4.12 Übergreifende Beispielfälle der künstlichen Intelligenz

5. Ursachen von Diskrimi­nierungsrisiken
5.1 Risiken bei der Verwendung von Algorithmen, Modellen und Datensätzen
5.1.1 Risiken bei der Entwicklung der Algorithmen und Modelle
5.1.2 Risiken bei der Zusammenstellung der Datensätze und Merkmale
5.1.3 Risiken bei Onlineplattformen
5.1.4 Absichtliche Diskriminierung und Verschleierung in und durch Computersysteme
5.1.5 Unzureichende Anreize zur Revision oder Abschaffung
5.2 Gesellschaftliche Risiken von algorithmenbasierten Differenzierungen
5.2.1 Gruppenzugehörigkeit und Generali­sierungs­­­unrecht
5.2.2 Akkumulations- und Verstärkungseffekte
5.2.3 Differenzierungen gegen gesellschaftspolitische Vorstellungen
5.2.4 Behandlung als ein bloßes Mittel und psycho­­logische Distanzierung
5.2.5 Gefährdung der freien Entfaltung der Persön­lichkeit und des Rechts auf Selbstdarstellung
5.2.6 Erzeugung von struktureller Überlegenheit

6. Handlungsbedarfe und ­-optionen
6.1 Transparenz und Nachweis von Diskriminierungen
6.1.1 Technische Optionen für Transparenz, Nachvoll­ziehbarkeit und Diskriminierungsvermeidung
6.1.2 Verbesserungen des Nachweises von Dis­kriminierungen
6.1.2.1 Empirische Untersuchungen und Nachweise?
6.1.2.2 Algorithmen-Audits ?
6.1.3 Rechtliche Situation
6.1.3.1 Informationspflichten und Auskunfts­rechte des Datenschutzes?
6.1.3.2 Beweislast und Indizien nach dem AGG?
6.1.3.3 Dokumentationen
6.2 Detailliertere Regulierung von algorithmischen Entscheidungsregeln
6.2.1 Benachteiligungsverbote und geschützte Merkmale
6.2.2 Ausnahmen nach sachlichem Grund und anerkannten Methoden
6.2.3 Verbot automatisierter Entscheidungen
6.2.3.1 Ausnahmen?
6.2.3.2 Angemessene Maßnahmen?
6.2.3.3 Informationspflichten?
6.2.3.4 Kritik und Weiterentwicklungsbedarf?
6.2.4 Kommunikative Prozesse bei Differenzierungs­entscheidungen
6.2.5 Gestaltung von Onlineplattformen
6.3 Möglichkeiten der Antidiskriminierungsstellen
6.3.1 Auftrag und Kompetenzen
6.3.2 Möglichkeiten von Untersuchungen und Nachweisen
6.3.3 Erfahrungen und Vorschläge anderer Antidis­kriminierungsstellen
6.3.4 Präventives Vorgehen und Kooperations­möglichkeiten
6.3.5 Vorschläge für die Antidiskriminierungsstelle des Bundes
6.4 Bedarf nach gesellschaftlichen Abwägungen und Festlegungen
6.4.1 Lasten der betroffenen Individuen
6.4.2 Legitimität von Differenzierungen

7. Literaturverzeichnis

Seitenzahl: 204
16.09.2019 | Studie
Studie "Diskriminierungsrisiken durch Verwendung von Algorithmen", Dr. Carsten Orwat: Herunterladen (PDF, 1MB, Datei ist barrierefrei/barrierearm) unter: https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Expertisen/studie_diskriminierungsrisiken_durch_verwendung_von_algorithmen.html?nn=305458

Quelle: Antidiskriminierungsstelle des Bundes,