Automatisierte Entscheidungssysteme und Diskriminierung Ursachen verstehen, Fälle erkennen, Betroffene unterstützen - Ein Ratgeber für ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Automatisierte Entscheidungssysteme und Diskriminierung Ursachen verstehen, Fälle erkennen, Betroffene unterstützen Ein Ratgeber für Antidiskriminierungsstellen
ADM-Systeme und Diskriminierung
Impressum
Automatisierte Entscheidungssysteme und Diskriminierung:
Ursachen verstehen, Fälle erkennen, Betroffene unterstützen.
Ein Ratgeber für Antidiskriminierungsstellen
Juni 2022
Online verfügbar auf: https://algorithmwatch.org/de/autocheck/
Herausgeber:
Matthias Spielkamp
AW AlgorithmWatch gGmbH
Linienstraße 13
10178 Berlin
Deutschland
Kontakt: info@algorithmwatch.org
Autorin und Projektmanagerin von „AutoCheck“
Jessica Wulf
Layout und Illustrationen
Beate Autering
Lektorat
Karola Klatt
Gefördert durch die
Diese Publikation steht unter der Lizenz Creative Commons Namensnennung 3.0
Deutschland
https://creativecommons.org/licenses/by/3.0/de/legalcode
Seite 2ADM-Systeme und Diskriminierung
▶ Einleitung........................................... Seite 4
0 5 Erkennen
Ein Fragenkatalog soll Beratende in der
Fallklärung dabei unterstützen, Hinweise
1 G
rundlagen und zentrale auf Algorithmen oder automatisierte
Begriffe Entscheidungssysteme zu erkennen. ............ Seite 16
Hier werden zentrale Begriffe geklärt
und in die Funktionsweise automatisierter
Entscheidungssysteme eingeführt. ................. Seite 5 6 Umgang
Anknüpfend an gängige Schritte in der
Antidiskriminierungsberatung wird
2 Fallbeispiele aufgezeigt, wie Beratende mit dem Verdacht
Die Fallbeispiele erzählen von ungerechten auf Benachteiligung durch automatisierte
oder diskriminierenden Ergebnisse durch die Entscheidungssysteme umgehen
Anwendung von automatisierten können. ............................................................. Seite 18
Entscheidungssystemen. .................................. Seite 6
7 Glossar
3 Ursachen Im Glossar werden Begriffe, die für diese
Schaubilder veranschaulichen, wie ungerechte oder Publikation relevant sind, verständlich
diskriminierende Ergebnisse durch automatisierte erläutert. ........................................................... Seite 22
Entscheidungssysteme entstehen. ............... Seite 11
8 Quellen zum Thema
4 Anwendungsfelder Eine Liste mit Empfehlungen für Bücher,
Mit einem Fokus auf privaten Dienstleistungen und Filme, Initiativen und vielem mehr möchte
dem Zugang zu Gütern werden relevante Anwen- zur weiteren Beschäftigung mit automatisierten
dungsfelder automatisierter Entscheidungssysteme Entscheidungssystemen
übersichtlich dargestellt. ................................. Seite 14 anregen. ........................................................... Seite 24
SYMBOLE IN DIESER PUBLIKATION
Ethnische Herkunft Geschlechtsidentität Alter Finanzsektor
Versicherungssektor Online-Handel Öffentliche Verwaltung Arbeitsmarkt
Wohnungssektor Gesundheitssektor Bildungssektor
Seite 3ADM-Systeme und Diskriminierung
▶
0 Einleitung
„Es steht für mich außer Frage, dass das Diskriminierungsrisiko durch automatisierte
Entscheidungssysteme alle Lebensbereiche umfassen und in der Antidiskriminierungs
arbeit eines der relevantesten Themen sein wird.“ (Interviewpartnerin 021)
Die Einschätzung unserer Kreditwürdigkeit, die Anzeige individualisierter Preise im Online-Handel oder ein
Chatbot, der das (hoffentlich) richtige Formular anbietet – das sind Anwendungsfälle von automatisierten
Entscheidungssystemen2. Diese Systeme begegnen uns in immer mehr Bereichen unseres Lebens. Ihr
Einsatz führt jedoch nicht unbedingt zu objektiveren oder neutraleren Entscheidungen, sondern immer
wieder zu ungerechten, sogar diskriminierenden Ergebnissen.
Die oben zitierte Antidiskriminierungsexpertin schätzt deshalb Diskriminierungsrisiken durch automa-
tisierte Entscheidungssysteme als sehr relevant für die Zukunft der Antidiskriminierungsarbeit ein. Zu
ähnlichen Schlüssen kommen auch eine von der Antidiskriminierungsstelle des Bundes (ADS) in Auftrag
gegebene Studie3 und ein Bericht des Europäischen Netzwerks der Gleichstellungsgremien (Equinet)4.
Doch was genau sind automatisierte Entscheidungssysteme? Wie kommt es zu der Diskriminierung und
was kann in der Beratung dagegen getan werden? Diese und weiterführende Fragen beantworten wir in
konkreten und verständlichen Anleitungen, Schaubildern und Texten in dieser Handreichung.
Diese Publikation ist im Rahmen des Projekts AutoCheck – Handlungsanleitung für den Umgang mit automa
tisierten Entscheidungssystemen für Antidiskriminierungsstellen entstanden. Sie ist eine erste Einführung in
die Diskriminierungsrisiken beim Einsatz von automatisierten Entscheidungssystemen. Für ein tieferge-
hendes Verständnis der Thematik werden im Rahmen des Projekts Weiterbildungskonzepte entwickelt,
die als Workshops für Multiplikator*innen veröffentlicht und angeboten werden.
Wir wenden uns mit dieser Handreichung in erster Linie an Mitarbeitende von Antidiskriminierungsstellen
in Deutschland. Durch Kompetenzaufbau in diesem zunehmend bedeutsamen Themenfeld sollen sie in
die Lage versetzt werden, Risiken besser zu erkennen, einzuschätzen und dadurch in konkreten Diskrimi-
nierungsfällen Betroffene besser unterstützen zu können. Darüber hinaus soll diese Publikation auch den
von Diskriminierung Betroffenen die Möglichkeit geben, sich über das Thema zu informieren.
Der Fokus liegt auf dem Zugang zu Gütern und privaten Dienstleistungen, beispielsweise Benachteiligun-
gen im Online-Handel oder beim Abschließen einer Versicherung. Nur am Rande gehen wir auf andere
Anwendungsbereiche des Allgemeinen Gleichbehandlungsgesetzes (AGG) ein.
Das Projekt wurde von der ADS gefördert und von AlgorithmWatch umgesetzt. Wir möchten uns an dieser
Stelle herzlich für die Förderung und Unterstützung bedanken sowie für die angenehme Zusammenarbeit
mit Nathalie Schlenzka, Niklas Hofmann und Gudula Fritz.
1 Im Rahmen des Projekts AutoCheck wurden 15 Mitarbeitende von Antidiskriminierungsstellen und Antidiskriminierungs
expert*innen interviewt. Themenschwerpunkte der Interviews waren: Vorwissen und Berührungspunkte mit automatisierten
Entscheidungssystemen in der Beratung, Einschätzung der Relevanz des Themas im Antidiskriminierungskontext und alltägli-
che Aufgaben und Themen in der Beratungsarbeit. Alle Zitate in dieser Publikation, sofern nicht anders gekennzeichnet, sind
Äußerungen aus den Interviews.
2 Für diese Publikation relevante Begriffe finden Sie im Glossar ab S. 22.
3 Orwat, Carsten (2019). Diskriminierungsrisiken durch Verwendung von Algorithmen: eine Studie, erstellt mit einer Zuwen-
dung der Antidiskriminierungsstelle des Bundes. Nomos.
4 Allen QC, Robin & Masters, Dee (2020). Regulating For An Equal AI: A New Role For Equality Bodies. An Equinet Publication.
https://equineteurope.org/wp-content/uploads/2020/06/ai_report_digital.pdf (14.04.2022).
Seite 4ADM-Systeme und Diskriminierung
1 Grundlagen und einer Wohnungsbesichtigung eingeladen wird. Die
zentrale Begriffe Ausführung einer Entscheidung kann auch vollstän-
dig an ADM-Systeme delegiert werden, dann ist im
„Ich hätte gerne eine grundlegende Anwendungsfall kein Mensch mehr beteiligt.
Einführung, sodass man weiß, worüber
man spricht.“ (Interviewpartner 13) ADM-Systeme basieren auf Algorithmen, einer
bestimmten Form der Handlungsanleitung, die
Vielleicht haben Sie sich beim Lesen des Titels „Auto- zur Lösung eines mathematischen Problems führt.
matisierte Entscheidungssysteme und Diskriminie- Algorithmen beschreiben „einen für den Computer
rung“ schon gefragt, was automatisierte Entschei- korrekt interpretierbaren Lösungsweg, der für jede
dungssysteme eigentlich sind. Diesen und weitere durch das mathematische Problem definierte mög-
zentrale Begriffe dieser Publikation werden wir in liche Eingabe die korrekte Lösung in endlicher Zeit
diesem Kapitel definieren und in Zusammenhang berechnet.“5
setzen. Weitere relevante Begriffe finden Sie im
Glossar ab S. 22. Diese Begriffe sind im Text der Pub- Wir möchten hier zwei Arten von Algorithmen
likation Grau und unterstrichen. unterscheiden, die die Funktionsweise von ADM-
Systemen beeinflussen: regelbasierte und lernende
Algorithmen. Bei einem regelbasierten Algorithmus
BEGRIFFSKLÄRUNG sind die Handlungsanleitungen, die der Algorithmus
ausführt, explizit programmiert worden. Ein Beispiel
Warum verwenden wir in dieser Publikation dafür sind Online-Formulare, die man oft nur dann
den Begriff „automatisiertes Entscheidungs- abschicken kann, wenn man sich einer der binären
system“ statt von einer „Künstliche Intelligenz“ Geschlechterkategorien „männlich“ oder „weiblich“
zu sprechen, die Entscheidungen über Men- zuordnet. Diese Bedingung für ein korrekt ausgefüll-
schen trifft? tes Formular ist von einem Menschen so program-
miert worden.
Künstliche Intelligenz ist zu allererst ein For-
schungsfeld der Informatik, das sich mit maschi-
Lernende Algorithmen sollen dagegen in einer vor-
nellem Lernen und der Automatisierung kog-
gelagerten Phase Regeln aus bereits vorhandenen
nitiver Aufgaben befasst. Darüber hinaus sug-
Daten lernen, die zu einem gewünschten Ergebnis
geriert der Begriff die Nähe zu menschlicher
führen. Das können Menschen unterstützen, indem
Intelligenz und damit auch zu so etwas wie Ver-
sie die für das Training zur Verfügung stehenden
antwortung für Entscheidungen. Das ist irrefüh-
Daten annotieren, also zum Beispiel Daten, die das
rend [siehe Kapitel Ursachen, S. 11]. Passender
gewünschte Ergebnis beinhalten, markieren. In der
ist der Begriff „automatisiertes Entscheidungs
nächsten Phase werden die erlernten Regeln auf
system“, den wir stattdessen verwenden.
ähnliche, aber unbekannte Daten angewendet, um
ein richtiges Ergebnis zu erhalten. Das bedeutet,
Systeme zum automatisierten Entscheiden (englisch: dass bereits vorhandene Daten hier einen großen
Automated Decision-Making, kurz: ADM) führen Ent- Einfluss auf die gelernten Regeln und damit das
scheidungsmodelle oder ‑wege mithilfe von Algo- Ergebnis haben.
rithmen aus. ADM-Systeme können Entscheidungen
unterstützen oder vorbereiten, indem sie Empfeh- Gleich welche Art von Algorithmen sie verwenden,
lungen aussprechen oder Daten aufbereiten. Zum der Kontext muss mitbetrachtet werden, um ADM-
Beispiel könnte ein ADM-System verwendet wer- Systeme besser verstehen zu können. Deswegen
den, um aus einer großen Anzahl Bewerber*innen
für eine Wohnung, eine Liste mit Kandidat*innen zu
filtern, die bestimmten Kriterien entsprechen. Basie- 5 AlgorithmWatch (2016). 1. Arbeitspapier: Was ist ein
Algorithmus? https://algorithmwatch.org/de/arbeitspa-
rend auf dieser Liste entscheidet ein Mensch, wer zu pier-was-ist-ein-algorithmus/ (28.02.2022).
Seite 5ADM-Systeme und Diskriminierung
ist es sinnvoll, sie als sozio-technische Systeme zu könnten. Der Fokus liegt auf privaten Dienstleistun-
betrachten, das heißt neben den technischen auch gen und dem Zugang zu Gütern in Deutschland. Wir
ihre sozialen Komponenten in die Untersuchung ein- verwenden auch ein Beispiel aus Italien und Bei-
zubeziehen. ADM-Systeme entstehen aus einem spe- spiele aus anderen Anwendungsbereichen, da es auf
zifischen historischen und gesellschaftlichen Kontext die Logik ankommt, die hinter ADM-Systemen und
heraus, werden durch diesen beeinflusst und haben ihrer Anwendung steckt. Diese Logik ist auf andere
wiederum Einfluss auf spezifische Gruppen und Indi- Anwendungskontexte übertragbar.
viduen in dieser Gesellschaft und die gesellschaft-
liche Entwicklung insgesamt. Dieser Einfluss kann
auch negativ sein und zu Benachteiligung oder Dis-
kriminierung führen, wie die Fallbeispiele im folgen-
den Kapitel zeigen.
a) Nicht kreditwürdig aufgrund von
Alter und Geschlecht ?
2 Fallbeispiele
Der Kauf auf Rechnung wird verweigert,
„Fallbeispiele sind immer super. mutmaßlich wegen einer für die Kredit
Man kann viel Theorie lesen, aber würdigkeit ungünstigen Kombination von
man merkt sie sich erst an Beispielen.“ Alter und Geschlecht.6
(Interviewpartnerin 06)
Im Jahr 2021 möchte eine Frau in Hessen in einem
In diesem Teil der Publikation finden Sie fünf Fall- Online-Shop Kleidung kaufen. Als Zahlungsart gibt
beispiele von ungerechten oder diskriminierenden sie „Kauf auf Rechnung“ an. Die damit verbundene
Ergebnissen durch die Anwendung von ADM-Sys- Bonitätsprüfung, auch „Scoring“ genannt, führt dazu,
temen in Deutschland und Italien. Sie dienen als dass ihr der Kauf auf Rechnung verwehrt wird. Die
Einstieg in das Thema und zur Veranschaulichung Frau ist irritiert, sie übt einen guten Job aus, ist um
der Problematik. Sie sind nah am Beratungsalltag die 40 Jahre alt und hat ihres Wissens nach keine
und sollen Hinweise darauf geben, bei welchen negativen Einträge bei Auskunfteien.7 Sie fragt beim
Beratungsfällen ADM-Systeme eine Rolle spielen Online-Händler nach. Dieser schickt ihr das Ergebnis
der Bonitätsprüfung der externen Auskunftei. Hier
RECHN schien ein automatisiertes System ausgewertet zu
UNG
haben, dass Frauen um die 40 nicht kreditwürdig
genug sind. Diese Hintergründe zu der automatisier-
ten Entscheidung erfährt die Betroffene nur, als sie
auf Eigeninitiative beim externen Kreditprüfungs-
unternehmen anruft und ein Mitarbeiter Vermu-
tungen dazu äußert, warum sie abgelehnt wurde:
6 Das Fallbeispiel basiert auf einem Beratungsfall, der uns
in einem Interview mit der verantwortlichen Beraterin
einer Antidiskriminierungsstelle geschildert wurde. In
Finnland gab es einen ähnlichen Fall, der vom Nicht-Dis-
kriminierungs- und Gleichbehandlungstribunal rechts-
verbindlich entschieden wurde: https://algorithmwatch.
org/de/kreditscoring-urteil-aus-finnland-wirft-fragen-
zur-diskriminierung-auf/.
7 Die größten Auskunfteien in Deutschland sind Schufa
Holding AG (mit dem größten Marktanteil), Creditreform
Boniversum, Crif Bürgel und Infoscore Consumer Data.
Weiterführende Informationen zu Auskunfteien: https://
www.finanztip.de/schufa/auskunfteien/ (24.03.2022).
Seite 6ADM-Systeme und Diskriminierung
Weil „Frauen in ihrem Alter geschieden und damit
mittellos“ seien – es also am Zusammenhang zwi-
schen Alter und Geschlecht liege. Ein Testing- Ver-
fahren [S. 19, Testing-Verfahren] bietet sich an, ist
aber zu aufwendig. Auch für ein Klageverfahren
[S. 20, Klageverfahren] nach AGG werden zu niedrige
Erfolgschancen im Verhältnis zu den Kosten gese-
hen.8 Erfreulicherweise führt die Beschwerde der
Frau zumindest dazu, dass der Online-Händler die
Auskunftei wechselt.
In diesem Fallbeispiel könnte zum Beispiel das ver-
wendete Modell die Ursache für das Ergebnis der
ungenügenden Kreditwürdigkeit sein.9 Dann wäre
hier die Annahme, dass Geschlecht und Alter Einfluss
auf die Zahlungsfähigkeit einer Person haben, in das
Modell eingegangen. Weitere Informationen finden
Sie im Kapitel Ursachen [S. 11].
b) Online-Formulare
Online-Formulare können aufgrund der Seite seinen Nachnamen nicht akzeptiert. Diese
Kürze des Nachnamens nicht ausgefüllt Erfahrung macht Herr Li nicht nur auf Bitcoin.de,
oder abgeschickt werden.10 sondern auch auf einigen anderen Webseiten, die
Online-Formulare verwenden. Immer wieder kann
2013 möchte Clemens Li auf der Webseite Bitcoin.de er sich nicht anmelden oder etwas nicht kaufen,
die Kryptowährung Bitcoin kaufen. Das gelingt ihm weil beim Ausfüllen des Namensfelds eine Feh-
jedoch nicht, weil das Online-Anmeldeformular der lermeldung erscheint: Der Name „Li“ ist zu kurz.
Oft sind Formulare so programmiert, dass Namen
mindestens drei Buchstaben enthalten müssen,
8 Folgende Studie thematisiert u. a. Herausforderungen
damit sie akzeptiert und der Vorgang abgeschlos-
für Klageverfahren beim Zugang zu Waren und Dienst-
leistungen im Zusammenhang mit dem AGG: Beigang, sen werden kann. Menschen mit weniger als drei
Steffen et al. (2021). Möglichkeiten der Rechtsdurch- Buchstaben im Namen scheinen bei der Program-
setzung des Diskriminierungsschutzes bei der Begrün-
dung, Durchführung und Beendigung zivilrechtlicher mierung nicht mitgedacht worden zu sein. So auch
Schuldverhältnisse: Bestandsaufnahme, Alternativen im Falle von Bitcoin.de. Herr Li beschwert sich bei
und Weiterentwicklung. Nomos. https://www.antidiskri-
den Betreibern der Webseite und bekommt sechs
minierungsstelle.de/SharedDocs/downloads/DE/pub-
likationen/Expertisen/rechtsdurchsetzung_zivilrecht. Monate später eine Antwort vom Support per
pdf?__blob=publicationFile&v=2 (03.03.2022). E-Mail: Der Kundenbetreuer bittet ihn, für die Regis-
9
Die tatsächlichen Ursachen für das Ergebnis wissen trierung einen Punkt an seinen Namen anzuhän-
wir nicht, da wir keine Informationen von Seiten der
Auskunftei zu dem Fall oder dem verwendeten Modell gen, „da unser System zwingend drei Buchstaben
haben. vorschreibt.“ Herr Li lehnt das ab und kann infolge
10
Lulamae, Josephine (2022). Name Zu Kurz, Registrie- auf der Webseite keine Kryptowährung kaufen.
rung Ausgeschlossen: Diskriminierende Online-Formu-
lare. AlgorithmWatch: https://algorithmwatch.org/de/
fehlerhafte-online-formulare/ (03.03.2022).
Seite 7ADM-Systeme und Diskriminierung
c) Fotoautomat Hamburg
Gesichtserkennungssoftware
erkennt das Gesicht einer
Schwarzen Frau nicht als Motiv.11
Audrey K. möchte 2020 beim Landes-
betrieb Verkehr in Hamburg einen
internationalen Führerschein bean-
tragen. Sie hat alle erforderlichen
Unterlagen für die Beantragung zu
ihrem Termin mitgebracht, abgese-
hen von einem biometrischen Foto,
das sie in dem Fotoautomaten im
Amt machen möchte. Um ein biometri-
sches Bild aufzunehmen, muss man sein
Gesicht in einen bestimmten Ausschnitt der
Kamera halten. Erst wenn das Gesicht im richti-
gen Ausschnitt erkannt wird, wird ein Foto gemacht.
Der Fotoautomat des Landesbetrieb Verkehr
erkennt das Gesicht von Audrey K. jedoch nicht als sich darauf, dass die neuste Technologie verwendet
Motiv. Die Gesichtserkennungssoftware, die in die- werde. Dass aber auch neueste Technologie rassis-
sem Fotoautomaten verwendet wird, erkennt offen- tische und sexistische Ergebnisse liefern kann, zeigt
bar nur Gesichter mit hellen Hauttönen. Das Verhal- die Studie der Forscherinnen Joy Buolamwini und
ten der Mitarbeiterin im Landesbetrieb Verkehr lässt Timnit Gebru.12 Die Forscherinnen untersuchen in
Audrey K. darauf schließen, dass das Problem vor dieser Studie die Genauigkeit von KI-Anwendungen
ihrem Besuch schon länger bestand und bekannt zur Geschlechtsklassifizierung von Gesichtern, die
war. Sie erinnert sich daran, dass die Mitarbeiterin zum Beispiel von Microsoft oder IBM angeboten wur-
gesagt habe, „es könnte ein Problem mit Ihrer Haut- den. Sie kommen zu dem Ergebnis, dass die unter-
farbe geben.“ Der Fotoautomat gehört der Bun- suchten KI-Anwendungen eine hohe Fehlerquote
desdruckerei. Dort sieht man das Problem nicht im für Frauen mit dunkleren Hauttönen aufzeigen im
Softwaresystem, sondern meint, es läge an der Aus- Vergleich zu Männern mit helleren Hauttönen. Als
leuchtung der Kabine. Die Bundesdruckerei beruft einer der Gründe für dieses Ergebnis wird die feh-
lende Diversität in Daten benannt. Auch in diesem
Fallbeispiel von Audrey K. könnte die Ursache des
Problems an den Daten liegen, die für die Entwick-
11
Schipkowski, Katharina (2020). Rassismus im Bild: lung der Software verwendet wurden.13
Blind für schwarze Menschen. Taz.de: https://taz.de/
Rassismus-im-Bild/!5700872/ (03.03.2022). Ähnliche
Fälle: Achenbach, Cornelia (2019). Junge kann Foto-
automaten im Osnabrücker Bürgeramt nicht nutzen.
12
Buolamwini, Joy & Gebru, Timnit (2018). Gender Shades:
Neue Osnabrücker Zeitung: https://www.noz.de/lokales/
Intersectional Accuracy Disparities in Commercial Gen-
osnabrueck/artikel/-20523365 (03.03.2022). Karangwa,
der Classification. Proceeds of Machine Learning Research:
Sandra (2015). Entlarvt: Schwarze zu dunkel für bio-
81, 1-15. http://gendershades.org/ (03.03.2022).
metrische Passfotos. MiGAZIN.de: https://www.migazin.
de/2015/07/13/schwarze-sind-zu-dunkel-fuer-das-biome- 13 Die tatsächlichen Ursachen für das Ergebnis wissen wir
trische-passfoto/ (03.03.2022). nicht.
Seite 8ADM-Systeme und Diskriminierung
und auf welchen Kriterien das basiert.15 Weil die
Algorithmen der Plattformen meist bestehende
Strukturen abbilden, kann bestehende Ungleichheit
reproduziert werden.
d) Genderstereotypes Anzeigen
von Stellenausschreibungen In diesem Fallbeispiel könnte das Ziel der Anwen-
dung die Ursache dafür sein, dass Stellenanzeigen
Stellenanzeigen werden automatisiert nach Genderstereotypen verbreitet werden.16 Denn
genderstereotyp verbreitet.14 das Ziel könnte hier sein, die Klicks auf Stellenan-
zeigen für Anzeigekunden zu maximieren. Weitere
Im Jahr 2020 schreibt AlgorithmWatch in einem Informationen zu Ursachen von Diskriminierung
Versuch fiktive Stellen aus. Es handelt sich um Aus- durch ADM-Systeme finden Sie im nächsten Kapitel
schreibungen für eine*n LKW-Fahrer*in und eine*n [Ursachen, S. 11].
Erzieher*in. Die Stellenausschreibungen werden
auf der Plattform Facebook angezeigt und sind mit
Anzeigen auf einer Jobplattform verlinkt. Jobsu- „Die Algorithmen an sich sind nicht
chende können bei Facebook nach Jobs suchen und das Problem, sondern dass sie Diskri
werden dann zu den Anzeigen auf der verlinkten Job- minierung und strukturelle Ungleich
plattform weitergeleitet. Es ist bei Plattformen wie heit verdecken. Bei Diskriminierung
Facebook möglich, bei der Veröffentlichung einer kommt es nicht auf die Absicht an,
Anzeige eine bestimmte Zielgruppe auszuwählen, sondern auf die Wirkung. Diskrimi
die man bevorzugt erreichen möchte. Diesen Vor- nierung ist in die Struktur und auch
gang nennt man „Targeting“. Im Versuch wird dar- in uns eingeschrieben: Wir haben das
auf bewusst verzichtet. Sobald die Anzeigen veröf- alle gelernt.“ (Interviewpartner*in 04)
fentlicht sind, werden sie vor allem den Menschen
angezeigt, die, basierend auf einer Berechnung
durch einen Algorithmus, am wahrscheinlichs-
ten die Anzeigen anklicken. Die Ausschreibung X-GMBH NEUIGKEITEN SERVICE ÜBER UNS KONTAKT
für eine*n LKW-Fahrer*in wird 4.864 Männern
gezeigt, aber nur 386 Frauen. Die Anzeige für
eine*n Erzieher*in, die genau zur selben Zeit
geschaltet wurde, erreicht 6.456 Frauen, aber
nur 258 Männer. Das bedeutet: Facebook führt
beim Veröffentlichen der Anzeigen ein Targeting
durch, ohne eine Erlaubnis dafür einzuholen oder
darüber zu informieren. Diese Form von Targe-
ting ist übertragbar auf andere Anzeigen, etwa
Wohnungsanzeigen. Die besondere Pro-
blematik in diesem und ähnlichen Fällen:
Betroffene Personen wissen nicht, dass ihnen etwas
15
Eine Einschätzung zur Rechtsdurchsetzung dieses Bei-
anderes angezeigt wird als anderen Nutzer*innen spiels: Fröhlich, Wiebke (2020). Männer fahren LKW,
Frauen erziehen Kinder – Diskriminierendes Gendertar-
geting durch Facebook. Verfassungsblog: https://verfas-
sungsblog.de/diskriminierende-facebook-algorithmen/
14
Kayser-Bril, Nicolas (2020). Automatisierte Diskrimi-
(03.03.2022).
nierung: Facebook verwendet grobe Stereotypen, um
die Anzeigenschaltung zu optimieren. AlgorithmWatch: 16 Die tatsächlichen Ursachen für das Ergebnis wissen wir
https://algorithmwatch.org/de/automatisierte-diskrim- nicht, da wir von Facebook keine Informationen erhalten
inierung-facebook-verwendet-grobe-stereotypen-um- haben, z. B. welche Ziele, Modelle oder Daten verwendet
die-anzeigenschaltung-zu-optimieren/ (03.03.2022). wurden.
Seite 9ADM-Systeme und Diskriminierung
Versicherungen mit der Abfrage der Steuernummer
schon über die Information verfügen, dass er sowohl
eine nigerianische als auch eine italienische Staats-
bürgerschaft besitzt. Um potenzielle Benachteiligung
offenzulegen, führen die Universitäten
Padua, Udine und Carnegie Mellon eine
Studie mithilfe von Vergleichsportalen
und fiktiven Profilen durch. Die
Erfahrung von Udo Enwerene-
zor bestätigt sich: Abhängig vom
Geburtstort und der Staatsbür-
gerschaft oder beidem variieren
die Preise für KfZ-Versicherun-
gen zum Teil stark.18 Die Studie
zeigt, dass eine Person, die in Ghana
geboren wurde, unter Umständen über
1.000 Euro mehr zahlen muss als eine in Mailand
geborene Person mit einem ansonsten identischen
Profil.
KFZ-VERSICHERUNG
e) Preise für Autoversicherungen
werden beeinflusst durch die Name: KFZ-VERSICHERUNG
Nationalität der Kund*innen Udo Enwerenezor
Steuernummer:
123 / 456 /585842
Kfz-Versicherungstarife werden durch die Geburtsort:
Staatsbürgerschaft beeinflusst.17 Genua
Name:
Geburtsland: Udo Enwerenezor
Italien
Udo Enwerenezor lebt in Italien und hat eine dop- Steuernummer:
123 / 456 /585842
pelte Staatsbürgerschaft: sowohl die Italienische Geburtsort:
als auch die nigerianische. Seine Erfahrung aus Accra
der Vergangenheit ist, dass die Preise für eine Kfz- Geburtsland:
Ghana
Versicherung sich unterscheiden je nachdem, wel-
che der Staatsbürgerschaften er angibt. Gibt er an,
nigerianischer Staatsbürger zu sein, liegt der Preis
höher. Seit die Kfz-Versicherung nicht mehr telefo-
nisch abgeschlossen wird, sondern ausschließlich
online, kann er nicht mehr nachprüfen, ob seine
Staatsbürgerschaften sich unterschiedlich auf den
Preis auswirken würden. Das liegt daran, dass die
18 Fabris, Alessandro et al. (2021). Algorithmic Audit of Ita-
17
Boscarol, Francesco (2022). Costly Birthplace: discrimi- lian Car Insurance: Evidence of Unfairness in Access and
nating insurance practice. AlgorithmWatch: https:// Pricing. In Proceedings of the 2021 AAAI/ACM Conference on
algorithmwatch.org/en/discriminating-insurance/ AI, Ethics, and Society (pp. 458-468). http://www.dei.unipd.
(03.03.2022). it/~silvello/papers/2021_aies2021.pdf (03.03.2022).
Seite 10ADM-Systeme und Diskriminierung
3 Ursachen „Dann die Frage: Wer hat das
programmiert? Menschen, die keine
„Alles was programmiert wird, ist nur Diskriminierungserfahrungen machen,
so gut wie die Menschen, die es pro sich damit nicht auseinandersetzen
grammieren.“ (Interviewpartner*in 07) und nicht sensibel dafür sind?“
(Interviewpartner*in 07)
Die Verwendung von ADM-Systemen kann zu unge-
rechten, sogar zu diskriminierenden Ergebnissen Die folgenden Schaubilder in diesem Kapitel zeigen
führen, die weitreichende, negative Effekte auf das auf, an welchen Stellen Menschen Entscheidungen
Leben von Menschen haben können. ADM-Systeme treffen, wie sie ihre Annahmen und Perspektiven
sind weder neutral noch objektiv. Sie müssen als dadurch einbringen und welche Fragen wir zu den
sozio-technische Systeme verstanden werden – das ADM-Systemen stellen sollten.
heißt als Systeme, die in einem spezifischen gesell-
schaftlichen Kontext entstehen und von den darin
herrschenden Vorstellungen und Verhältnissen Daten
beeinflusst sind.
Die Realität lässt sich über Daten nie eins zu eins
„Automatisierte Entscheidungssysteme darstellen. Daten sind nicht neutral und spiegeln
werden von Menschen gemacht, (Macht-)Verhältnisse der Gesellschaft wider. Men-
die den gleichen Wahrnehmungen schen entscheiden, welche Daten wann und wie
unterliegen, denen sie auch im Alltag erhoben werden. Daten unterscheiden sich in ihrer
unterliegen.“ (Interviewpartnerin 11) Qualität zum Beispiel darin, ob sie aktuell oder ver-
altet sind und welche Gruppen in ihnen über- oder
Unbewusste Vorurteile, strukturelle Ungleichheit unterrepräsentiert werden. Daten sind in der Ver-
und Diskriminierung, die in Gesellschaften verbrei- gangenheit erfasst worden und spiegeln diese wider.
tet sind, finden sich auch hier wieder. Denn sozio- Werden sie benutzt, um zum Beispiel die Zukunft
technische Systeme spiegeln Annahmen, Werte, Per- vorherzusagen, beruht dies auf der Annahme, dass
spektiven und Voreingenommenheit der Menschen, die Zukunft der Vergangenheit gleicht oder ähnelt.
die sie entwickeln und anwenden. Das liegt daran, Vor allem bei lernenden Algorithmen beeinflussen
dass Menschen an verschiedenen Punkten in der die verwendeten Daten die Funktionsweise der ADM-
Entwicklung und Anwendung dieser Systeme Ent- Systeme stark. Menschen bereinigen und annotieren
scheidungen treffen – im schlimmsten Fall kommt Daten, damit sie für lernende Algorithmen verwend-
es so zu unerwünschter Diskriminierung. Wie falsche bar sind.
Vorstellungen und Voreingenommenheit die Funkti-
onsweise von ADM-Systemen negativ beeinflussen Die verwendeten Daten könnten zum Beispiel der
können, erklären wir in den folgenden Abschnitten. Grund dafür gewesen sein, dass das Gesicht von
DATEN
Sind die Daten aktuell und
ausreichend? Wer prüft das?
Sind die Daten repräsentativ für die
Gruppen, auf die das ADM-System
einen Effekt haben wird?
Welche Fragen können mit den
Daten beantwortet werden?
Wer wählt die Daten aus und warum wählt die
Person diese Daten (z. B. Qualität der Daten, Wer hat die Daten a
nnotiert
Verfügbarkeit oder Kosten)? und nach w
elchen Kriterien?
Seite 11ADM-Systeme und Diskriminierung
Audrey K. [Fallbeispiel c), S. 8] von der Gesichtser- für Anzeigenkunden zu maximieren. Basierend auf
kennungssoftware des Fotoautomaten nicht erkannt historischen Daten könnte die Wahrscheinlichkeit
wurde und sie deshalb kein biometrisches Foto berechnet worden sein, dass Nutzerinnen eher auf
machen konnte. Wenn der verwendete Algorithmus eine Stellenanzeige „Erzieher*in“ klicken, während
in der Phase des Lernens überwiegend mit Bildern sich Nutzer eher für „LKW-Fahrer*in“ interessieren.
von Gesichtern mit hellen Hauttönen trainiert wurde, Hätte Facebook zum Beispiel die Förderung von
diese also überrepräsentiert waren und damit Geschlechtergerechtigkeit in der Gesellschaft als Ziel
Gesichter mit dunklen Hauttönen unterrepräsen- definiert, wäre die Anzeigenverteilung womöglich
tiert, funktioniert das ADM-System schlechter oder anders ausgefallen.
gar nicht für die unterrepräsentierte Gruppe.
Modell
Ziel
Ein Modell beschreibt einen Ausschnitt der Wirk-
Menschen entscheiden nicht nur über die verwen- lichkeit; die Realität in ihrer Komplexität wird redu-
deten Daten, sie entscheiden auch über das Ziel der ziert. Eine Situation wird so vereinfacht, dass sie in
Verwendung eines ADM-Systems. Zunächst wird ein ein mathematisches Problem übersetzt werden
Problem identifiziert, das gelöst werden soll. Das kann. Menschen entscheiden, welche Kriterien und
kann zum Beispiel die Aufgabe sein, eine geeignete Aspekte relevant für ein Problem sind, das mithilfe
Person aus einem Bewerbungspool auszuwählen. des Modells gelöst werden soll – beispielsweise
Die Lösung könnte in einem von Menschen durchge- durch Anwendung eines Algorithmus. Wenn zum
führten Recruiting-Prozess bestehen. Es kann jedoch Beispiel geeignete Bewerber*innen automatisiert
auch entschieden werden, dass ein ADM-System anhand ihrer Lebensläufe ausgewählt werden sollen
für die Lösung des Problems geeignet scheint. Des und definiert wird, was „geeignet“ bedeutet, müssen
Weiteren wird entschieden, welche Ziele das System die Kriterien festgelegt werden, an denen sich „geeig-
verfolgen soll. Ziele können zum Beispiel Kostensen- net“ festmachen lässt. Solche Kriterien könnten sein:
kung und Effizienzsteigerung sein. Ein Ziel kann aber Berufserfahrung, höchster Abschluss, Sprachkennt-
auch sein, den Einfluss von Voreingenommenheit nisse usw. Dahinter steckt dann zum Beispiel die
auf Entscheidungsprozesse zu reduzieren und Dis- Annahme, dass eine Person mit mehreren Jahren
kriminierung zu vermeiden. Berufserfahrung besser für eine bestimmte Stelle
geeignet ist als eine Person mit wenig Berufserfah-
Im [Fallbeispiel d), S. 9], zeigt Facebook Stellenan- rung. Diese Annahme könnte jedoch auch infrage
zeigen genderstereotyp den Nutzer*innen an. Das gestellt werden, wenn bessere Kriterien für eine Eig-
Ziel könnte hier sein, die Klicks auf Stellenanzeigen nung bestehen.
Welcher Zweck soll
Welche (kritischen) Fragen werden gestellt?
ZIEL durch den Einsatz
Welche Alternativen in Betracht gezogen?
eines ADM-Systems
erfüllt werden?
Wer definiert das Ziel des Ein-
satzes, das Problem und die
Welche Annahmen Lösung? Welche Annahmen
über ADM-Systeme hat diese Person?
stecken hinter der
Einschätzung, dass
dies die beste Lösung
Welche Perspektiven auf die Gesell-
für das identifizierte
schaft hat die Entscheidungsperson?
Problem ist?
Seite 12ADM-Systeme und Diskriminierung
MODELL Welchen Ausschnitt der Realität
bildet das Modell ab? Ist die
Vereinfachung dem Problem
Auf welchen Annahmen über angemessen?
das Problem, die Realität oder
das Ziel basiert das Modell?
Ist das Modell geprüft worden?
Wer übersetzt das Problem in ein Nach welchen Qualitätsstandards?
Modell und wie wird es übersetzt? Unternehmensintern oder von
unabhängier Stelle?
Bei Scoring-Verfahren der Auskunfteien werden Indi- und lernen, wie diese Systeme funktionieren, damit
viduen einer Vergleichsgruppe mit ähnlichen Merk- sie die Empfehlungen angemessen hinterfragen kön-
malen zugeordnet. So kann basierend auf der Zah- nen.
lungsmoral der Vergleichsgruppe berechnet werden,
mit welcher Wahrscheinlichkeit eine Person eine Abschließend wollen wir noch darauf hinweisen,
Rechnung zahlen wird. Im Fallbeispiel a) [S. 6] könnte dass selbst ein auf Diskriminierung und Voreinge-
das Modell die Ursache für das Ergebnis der ungenü- nommenheit geprüftes System diskriminierend
genden Kreditwürdigkeit sein.19 Dann wäre hier die eingesetzt werden kann. Wenn zum Beispiel eine
Annahme, dass Geschlecht und Alter einen Einfluss Gesichtserkennungssoftware entwickelt wird, die für
auf die Zahlungsfähigkeit einer Person haben, in das alle Menschen sehr gut funktioniert, diese jedoch vor
Modell eingegangen. allem benutzt wird, um Schwarze Menschen gezielt
zu kontrollieren, dann ist die Anwendung des ADM-
Systems rassistisch.
Anwendung
ANWENDUNG Welche Kom-
Die Entscheidung, ein ADM-System für eine Aufgabe petenzen und
einzusetzen, basiert auf Annahmen über die Möglich- welches Wis-
Wer wendet das ADM-System sen haben die
keiten und Fähigkeiten dieser Systeme. Menschen an und wofür? Anwendenden?
tendieren dazu, ADM-Systeme zu überschätzen und
sich auf Empfehlungen durch ADM-Systeme zu ver-
Sind Anwendende geschult, das Haben Anwendende
lassen. Diese Tendenz wird in der englischsprachigen
System anzuwenden? Kennen sie die Möglichkeit
Fachliteratur „Automation Bias“ genannt.20 Sie wird die Möglichkeiten und Grenzen? oder Freiheit, sich
umso stärker, je mehr Zeitdruck Anwendende haben
anders zu entschei-
oder je mehr negative Konsequenzen sie fürchten den als vom System
müssen, wenn sie der Empfehlung des ADM-Systems empfohlen?
widersprechen oder nicht folgen. Deswegen ist es
sehr wichtig, dass Anwendende geschult werden
Falls formal möglich: Ist
dies im Arbeitsalltag rea-
19
Da wir keine Informationen von Seiten der Auskunftei zu listisch z. B. angesichts
dem Fall oder dem verwendeten Modell haben, kennen knapper Zeit-oder Perso-
wir die tatsächlichen Ursachen für das Ergebnis nicht.
nalressourcen? Welche
20
Automation Bias untersucht beispielsweise Cummings, Konsequenzen ergeben
Mary (2004). Automation Bias in Time Critical Deci- sich bei einem Wider-
sion Support Systems. AIAA 1 st Intelligent Systems
spruch für Anwendende?
Technical Conference. https://web.archive.org/web/
20141101113133/http://web.mit.edu/aeroastro/labs/halab/
papers/CummingsAIAAbias.pdf (14.04.2022).
Seite 13ADM-Systeme und Diskriminierung
4 Anwendungsfelder21 Fokus liegt auf privaten Dienstleistungen und dem
Zugang zu Gütern, Bereiche darüber hinaus werden
„Wir wissen ja oft nicht, wo ein nur grob dargestellt. Es ist schwierig, mit Sicherheit
Algorithmus dahinterstecken kann und zu sagen, wo ADM-Systeme derzeit in Deutschland
wo nicht.“ (Interviewpartnerin 07) tatsächlich eingesetzt werden, denn es fehlen Trans-
parenzpflichten und Auskunftsrechte – weder muss
In diesem Schaubild sind Bereiche dargestellt, in angegeben werden, dass ein ADM-System zur Unter-
denen ADM-Systeme angewendet werden können stützung angewendet wird, noch auf welchen Annah-
und Beispiele für deren Anwendung. Hier wird aus men und Daten dieses System basiert. Ein Hinweis
Gründen der Übersichtlichkeit nicht darauf einge- darauf, dass automatisierte Systeme angewendet
gangen, wie die abgebildeten ADM-Systeme zu dis- werden, ist zum Beispiel, dass schon lange statis-
kriminierenden Ergebnissen führen können. Das tische Berechnungen durchgeführt werden oder
Schaubild soll in Beratungsfällen herangezogen wer- Datensätze vorhanden sind, wie bei Versicherun-
den und helfen, einen begründeten Verdacht für die gen oder Bonitätsprüfungen. Oft soll mithilfe auto-
Verwendung von ADM-Systemen zu entwickeln. Der matisierter Entscheidungssysteme etwas sortiert,
kategorisiert, vorhergesagt oder effizienter gemacht
21 Bitte beachten: Dieses Kapitel ist als Doppelseite gestaltet. werden.
Angebotene Zah- Versicherungssektor Finanzsektor Online-Handel
lungsmöglichkeiten:
Zahlungsmöglichkeiten könn- VV Online-Formulare und VV Online-Formulare und VV Online-Formulare und
ten sich aufgrund der ange Kundenkonten Kundenkonten Kundenkonten
gebenen Wohnadresse VV Chatbot-Interaktionen VV Chatbot-Interaktionen VV Chatbot-Interaktionen
verändern – bei einer Adresse VV Gruppenspezifische Ver- VV Kreditvergabe: Bonitäts- VV Gruppenspezifische
wird die Option „Kauf auf sicherungstarife (Studie- prüfung Preise, z. B. Studierende,
Rechnung“ angezeigt, bei rende, Senior*innen) VV Automatisierte Überprü- Senior*innen)
einer anderen Adresse nicht. VV Verhaltensbasierte Versi- fung eingereichter Unter- VV Prämien basierend auf
cherungstarife (z. B. Tele- lagen Kundenprofilen
matik) VV Online abgeschlossene VV Preisdifferenzierung basie-
VV Automatisierte Überprü- Finanzprodukte, z. B. rend auf Uhrzeit oder Ort
fung eingereichter Unter- Girokonto, Kreditkarte, des Kaufs
lagen Depot, Online-Kredit VV Datenbasierte, gezielte
VV Dauerschuldverhältnisse: VV Online-Banken und Fin- Werbung (z. B. basierend
Bonitätsprüfung Techs auf vorherigem Suchver-
Kundenkonten:
VV Online abgeschlossene lauf)
Beim Erstellen eines
Versicherungen, z. B. Rei- VV Dauerschuldverhältnisse
Kundenkontos teilen
serücktritts-, Haftplicht-, bei Mobilfunk-, Internet-
Kund*innen persönliche
Kfz-, Rechtschutzversiche- verträgen, Abonnements
Informationen, wie Geburts-
rung (z. B. Spotify, Netflix): Boni-
datum, Geschlecht oder
VV Automatisierte Abwick- tätsprüfung
Staatsbürgerschaft. Diese
Informationen könnten von lung von Schadens- VV Angebotene Zahlungs-
einem ADM-System verar- meldungen („digitale*r möglichkeiten, z. B. basie-
beitet werden. Sachbearbeiter*in“) rend auf Adresse
VV Ratenzahlung oder Zah-
lung auf Rechnung: Boni-
tätsprüfungADM-Systeme und Diskriminierung
Chatbot-Interaktionen: Über Vergabe von Kitaplätzen:
ein Dialogfenster können Fragen Basierend auf vorab definier-
an den Chatbot gestellt werden, die auto- ten Vergabekriterien könnte
matisiert beantwortet werden. Teilweise ein ADM-System empfehlen, welche
können Chatbots durch Anwendungen Kinder in welcher Kita einen Platz
maschinellen Lernens aus Eingaben lernen bekommen sollten.
und verändern ihre Antworten mit der Zeit.
Bewerbungsverfahren: Eine Mustererkennung: Ein ADM-System
Spracherkennungssoftware könnte zur Mustererkennung eingesetzt
könnte eingesetzt werden, um werden, mit dem Ziel durch Bildanalyse
anhand von Stimmproben Rückschlüsse Melanome frühzeitig anhand von Bildern der
auf die sprechende Person zu ziehen. Haut von Menschen zu erkennen.
Wohnungssektor Gesundheitssektor Bildungssektor Arbeitsmarkt
VV Online-Formulare und VV Private Krankenversiche- VV Automatisierte Kitaplatz- VV Bewerbungsverfahren
Kundenkonten rung und Zusatzversiche- vergabe (z. B. Sprachanalyse, Video-
VV Chatbot-Interaktionen rungen, z. B. Zahn- oder VV Automatisierte Auswahl analyse)
VV Mietverhältnis: Bonitäts- Krankenhauszusatzversi- der Bewerbungen für VV Automatisierte Auswahl der
prüfung cherung (siehe Versiche- private Schulen, Hoch- Bewerbungen anhand von
rungssektor) schulen, Universitäten Noten, Lebenslauf usw.
VV Vorsortierung Woh-
nungsbewerbungen VV Online-Terminvergabe, VV Stellenausschreibungen
(bei großer Anzahl an z. B. für Covid-Impfungen über Online-Portale
Mietwohnungen oder VV Prävention und Diagnos VV Automatisierte Platzierung
Bewerbungen) tik: Mithilfe von Musterer- VV People Analytics, z. B. Leis-
VV Wohnungsanzeigen auf kennung sollen Erkran- tungsevaluation, Personal-
Online-Plattformen: kungen frühzeitig erkannt entwicklung, Berechnen der
Wem werden welche werden. Wechselbereitschaft)
Inserate angezeigt?
Gruppenspezifische Versicherungs Zahnzusatzversicherung:
tarife und Formulare: Basierend auf Angaben aus Online-Formularen
persönlichen Angaben, wie Geburtsdatum oder oder dem Kundekonto könnten ver-
Beschäftigungsverhältnis, könnten automatisiert wendet werden, um automatisiert einen
unterschiedliche Tarife berechnet werden. Versicherungstarif zu berechnen.
Seite 15ADM-Systeme und Diskriminierung
VV Wohnungssuche über Online-Woh-
nungsportale
VV Online abgeschlossene Verträge wie
Versicherungsverträge
VV Interaktion mit einem Chatbot, z. B.
im Online-Handel
VV ABER: Bonitätsprüfung bei der Kre-
ditvergabe oder Video-/Sprachauf-
nahmen bei Bewerbungsverfahren
sind ebenfalls Beispiele, in denen
ADM-Systeme zum Einsatz kommen
können, auch wenn Interaktionen
nicht online stattgefunden haben.
5 Erkennen
Wurde ein Online-Formular
„Wie lerne ich zu erkennen, ob mögli ausgefüllt oder über eine Online-
cherweise verborgene digitale Prozesse Maske (Kontaktformular, Chatbot
dahinterliegen?“ (Interviewpartner 10) etc.) interagiert?
Der folgende Fragenkatalog soll helfen, in den Fall- —— Beispiele hierfür sind: Das Eröffnen eines De-
beschreibungen von Ratsuchenden oder Betroffe- pots mithilfe eines Online-Kontos oder das
nen Hinweise auf ADM-Systeme zu erkennen und bei Abschließen einer Reiseversicherung über eine
Verdacht passende Rückfragen zu stellen. Dafür sind Webseite .
keine technischen Vorkenntnisse erforderlich.
—— Wurden persönliche Angaben gemacht oder
Wo fand die Interaktion statt? personenbezogene Daten geteilt? Falls ja, wel-
che? (Solche Daten können auch in Online-
—— Wenn die Interaktion online stattfand, kann Konten gespeichert sein.)
das ein Hinweis auf den Einsatz von automa-
tisierten Systemen sein. Beispiele für solche —— Wurden Fragen nach Merkmalen gestellt, die
Online-Interaktionen: durch das AGG geschützt sind (unmittelbare
PROXY-VARIABLEN
Proxy-Variablen werden stellvertretend für andere Variablen eingesetzt, zum Beispiel wenn diese nicht direkt
beobacht- oder messbar sind. Das englische Wort „proxy“ bedeutet „Stellvertreter*in“. Mit Proxy-Variablen
kann auf bestimmte – auch geschützte – Merkmale geschlossen werden, ohne dass sie direkt abgefragt
oder erfasst werden. Aus der Angabe „30 Jahre Arbeitserfahrung“ lässt sich beispielsweise ablesen, dass die
Person mindestens Mitte 40 sein muss. So können Proxy-Variablen einen entscheidenden Einfluss auf die
Entscheidungen eines ADM-Systems haben. (Hier finden Sie ein Erklärvideo zu Proxy-Variablen).
„Ein wichtiger Punkt: Oft wird davon ausgegangen, dass es nicht zu einer
Diskriminierung kommt, wenn keine personenbezogenen Daten verwendet werden.
Das stimmt so nicht.“ (Interviewpartnerin 02)
Seite 16ADM-Systeme und Diskriminierung
Diskriminierung)? Wurde nach Angaben ge- —— Auch bei der Teilnahme an Lastschriftverfah-
fragt, die als Proxy-Variablen wirken könnten ren kann eine Bonitätsprüfung erfolgen.
(mittelbare Diskriminierung)?
Einer Bonitätsprüfung muss in der Regel explizit
—— Wurden Dokumente hochgeladen? Falls ja, zugestimmt werden. Diese Zustimmung wird meist
welche? Beinhalteten diese Hinweise auf oder im Rahmen der Zustimmung zum Kauf oder der Zah-
Informationen zu geschützten Merkmalen? lung eingeholt. Die Information dazu kann in den
Vertragsunterlagen, den Allgemeinen Geschäftsbe-
Wie sah die Rückmeldung der dingungen (AGB) oder ähnlichen Dokumenten ste-
Firma oder Organisation auf die hen.
Interaktion aus?
Wurde der automatisierten
—— Wie schnell kam die Rückmeldung? Folgende Verarbeitung von Daten explizit
Hinweise deuten auf ADM-Systeme: zugestimmt?
VV Fällt sofort beim Eingeben von Daten in —— Damit vollautomatisch entschieden werden
ein Online-Formular eine Entscheidung darf, muss die betroffene Person nach Arti-
oder wird sie unmittelbar im Anschluss per kel 22 des europäischen Datenschutzgesetzes
E-Mail mitgeteilt? (DSGVO) oder Paragraf 31 des Bundesdaten-
VV Wurden viele Dokumente hochgeladen und schutzgesetzes (BDSG) explizit zustimmen. Die
die Rückmeldung kam dennoch sehr schnell? Information dazu kann in den Vertragsunterla-
gen, den AGB, der Datenschutzvereinbarung
—— Kommen in der Rückmeldung bestimmte Be- oder ähnlichen Dokumenten stehen. Schauen
griffe oder Phrasen vor, die auf eine automati- Sie auch nach Wörtern und Phrasen wie: „au-
sierte Entscheidung hindeuten? tomatisiert“, „maschinell“, „computergestützt“,
„automatisch“, „mithilfe von Algorithmen“.
VV Eine gängige Phrase ist zum Beispiel: „Die-
ses Schreiben wurde maschinell erstellt —— Ein Beispiel aus der Datenschutzerklärung ei-
und ist ohne Unterschrift gültig.“ ner Online-Buchhandlung:
VV Häufige Begriffe sind: „automatisiert“,
„maschinell“, „computergestützt“, „automa- VV „Auf Basis dieser Daten berechnet unser
tisch“, „elektronisch“. Dienstleister anhand mathematisch-statis-
tischer Verfahren Wahrscheinlichkeitswerte
Falls online etwas gekauft wurde, zur Beurteilung des Zahlungsausfallrisikos
welche Zahlungsmöglichkeiten gab und zur Verifizierung Ihrer Adresse (Prü-
es und welche wurde ausgewählt? fung auf Zustellbarkeit).“
—— Bei den Optionen „Ratenzahlung“ oder „Bezah-
lung auf Rechnung“ ist es wahrscheinlich, dass Ich würde vermuten, dass Diskrimi
eine Bonitätsprüfung vorgenommen wird. nierungsrisiken durch automatisierte
Entscheidungssysteme sehr, sehr
—— Handelt es sich um ein Dauerschuldverhältnis, große Relevanz haben, aber nicht bei
wie Miete, Telekommunikationsvertrag, Abon- uns in der Beratung ankommen oder
nements bei Netflix oder Spotify usw.? Auch ich sie als Beraterin nicht erkenne.“
hier ist es möglich, dass eine Bonitätsprüfung (Interviewpartnerin 00)
vorgenommen wird.
Seite 17ADM-Systeme und Diskriminierung
6 Umgang Wie lässt sich ein Verdacht auf negative
Auswirkungen eines ADM-Systems in
„Was mache ich denn dann, wenn gängige Vorgehensweisen und Interven-
ich Automatisierung vermute? Ist tionen der Antidiskriminierungsberatung
das ein Indiz für Diskriminierung? integrieren?
Das ist natürlich eine große Frage.“
(Interviewpartnerin 00)
Kontaktaufnahme, Stellungnahme,
Wenn Sie im Rahmen eines Beratungsfalls vermuten, Beschwerdeschreiben
dass ein automatisiertes Entscheidungssystem ver-
wendet wurde, ist die naheliegende Frage: Welche Eine Kontaktaufnahme mit einer verantwortlichen
Konsequenzen hat das für den weiteren Beratungs- Person, Organisation oder Stelle, in Form einer Bitte
prozess? In diesem Teil der Publikation beschreiben um Stellungnahme (etwa mit dem Ziel der Einigung)
wir Ideen für den Umgang mit einem solchen Ver- oder ein Beschwerdeschreiben bieten sich an, wenn
dacht, anknüpfend an gängige Interventionen der dies im Sinne der ratsuchenden Person ist.
Antidiskriminierungsberatung. Wie in allen anderen
Beratungsfällen geht es zunächst darum, herauszu- Besteht in einem konkreten Fall ein Verdacht, dass
finden und umzusetzen, was die ratsuchende Person ein Algorithmus oder ADM-System zu der diskrimi-
möchte.24 Darüber hinaus sollten Sie sinnvollerweise nierenden oder ungerechten Entscheidung beige-
einen Hinweis auf ein ADM-System in die Doku- tragen hat, beschreiben Sie diesen Verdacht bei der
mentation des Beratungsfalls aufnehmen. Dadurch Kontaktaufnahme. Sie können dafür folgende For-
lassen sich die Fälle besser bündeln und eventuelle mulierungshilfen und Musterfragen verwenden:
Muster erkennen.
„Aufgrund von Hinweisen gehen wir davon aus, dass
24
Antidiskriminierungsstelle des Bundes (2012). Schritt für in diesem Fall ein automatisiertes Entscheidungs-
Schritt durch die rechtliche Antidiskriminierungsbera- system verwendet wurde, das heißt, dass Entschei-
tung – Leitfaden für Beraterinnen und Berater: S. 30-59.
dungsmodelle automatisiert durch einen Algorith-
Antidiskriminierungsverband Deutschland (2015). Stan-
dards für eine qualifizierte Antidiskriminierungsbera- mus oder ein Computerprogramm angewendet
tung: S. 12f. wurden. Haben Sie ein solches System verwendet?
WAS KÖNNEN SIE TUN?
Das Diskriminierungsrisiko durch ADM-Systeme ist ein relativ neues Problem in der Antidiskriminierungs-
beratung. Fälle können sich in Abhängigkeit vom verwendeten ADM-System stark unterscheiden. Derzeit
existieren erst wenige Fallbeispiele aus Deutschland. Dementsprechend gibt es wenig Erfahrungswissen,
auf das Sie zurückgreifen können.
Deswegen empfehlen wir, bei einem Verdacht auf Auswirkungen eines ADM-Systems als erstes eine der
folgenden Stellen zu kontaktieren, die sich eingehend mit dieser Problematik beschäftigen. Sie können
zum einen direkt bei der Fallbearbeitung unterstützen und zum anderen an passende Stellen (etwa Ver-
braucher- oder Datenschutzstellen) weiterverweisen:
AlgorithmWatch Antidiskriminierungsstelle Antidiskriminierungsverband
info@algorithmwatch.org des Bundes Deutschland (advd)
030-99 40 49 000 beratung@ads.bund.de info@antidiskriminierung.org
(im Betreff: „Bitte um kollegiale
Beratung zu KI-Fall“)
Seite 18ADM-Systeme und Diskriminierung
Falls ja, um welche Software handelt es sich? Fand werden. Testing-Verfahren sind jedoch mitunter sehr
in diesem Fall eine vollautomatisierte Entscheidung aufwendig und anspruchsvoll, zum Beispiel bei Boni-
statt oder wurde die Entscheidung automatisiert tätsprüfungen.
vorbereitet und dann durch einen Menschen getrof-
fen oder kontrolliert? Wie wurde das automatisierte
System gegen Diskriminierung und andere unge-
wollte Einflüsse gesichert? Wie wurde sichergestellt, FALLBEISPIEL
dass keine personenbezogenen Merkmale verwen- TESTING-VERFAHREN
det wurden?“ Die Frau aus [Fallbeispiel a), S. 6] fühlt sich
diskriminiert und wendet sich an eine Antidis-
kriminierungsstelle. Der Fall bietet sich nach
Testing-Verfahren25 Ansicht der Beraterin für ein Testing an, da das
Scoring-Verfahren immer der gleichen Logik
Eine Methode, um Diskriminierung zu überprüfen folgt. Um aussagekräftig zu sein, müsste das
oder sichtbar zu machen, ist das Testing-Verfahren. Testing jedoch groß angelegt werden mit einer
sehr hohen Anzahl von Vergleichspersonen. Für
Bei einem Verdacht auf Diskriminierung bei der
die Beratungsstelle ist das zum damaligen Zeit-
Wohnungssuche zum Beispiel funktioniert es folgen-
punkt zu aufwendig und ressourcenintensiv.
dermaßen: „Bei Testings bewerben sich jeweils eine
Test- und eine Kontrollperson um eine Wohnung.
Dieses Tester_innenpaar weist möglichst viele Ähn-
lichkeiten auf, unterscheidet sich aber in dem zu tes-
tenden Merkmal. Personen, die den Verdacht haben, Es muss unterschieden werden, ob die Ergebnisse
auf dem Wohnungsmarkt oder in anderen Bereichen des Testing-Verfahrens als Indiz in ein Klageverfah-
ungerechtfertigt benachteiligt [worden] zu sein, kön- ren oder unterstützend für eine Stellungnahme ver-
nen Einzelfalltestings anwenden. Die durch das Tes- wendet werden sollen. Leider gibt es außerhalb von
ting gewonnenen Indizien für eine Diskriminierung Diskriminierung am Wohnungsmarkt kaum Recht-
können dann zur Anspruchsbegründung gerichtlich sprechung, die Hinweise darauf gibt, ob die Ergeb-
verwendet werden.“26 Die Methode ist auf andere nisse eines solchen Testing-Verfahrens vor Gericht
Anwendungsbereiche des AGG übertragbar, zum als Indiz anerkannt würden. Die Hürden vor Gericht
Beispiel auf die Kreditvergabe. sind hoch.
Die Testing-Methode bietet sich im Zusammenhang Großes Potenzial könnten die Ergebnisse eines Tes-
mit automatisierten Entscheidungen an, da die Ent- ting-Verfahrens dagegen im Rahmen einer Aufforde-
scheidungen immer nach dem gleichen grundle- rung zur Stellungnahme haben und für die Öffent-
genden Muster – also systematisch – entschieden lichkeitsarbeit rund um einen solchen Fall. Es muss
jedoch immer entschieden werden, ob genügend
Ressourcen für ein solches Verfahren vorhanden
25
Weiterführende Literatur zur Testing-Methode: Senats- sind.
verwaltung für Arbeit, Integration und Frauen. Landes-
stelle für Gleichbehandlung – gegen Diskriminierung.
Diskriminierung sichtbar machen (2012). Dokumentation Bei Online-Formularen lässt sich ein Testing relativ
der LADS-Fachrunde vom 8.11.2012 zu fachlichen und
einfach durchführen, da Sie Angaben leicht ändern
methodologischen Anforderungen an Testing-Verfahren.
Antidiskriminierungsstelle des Bundes (2020). Fair mie- können. Sollte zum Beispiel bei einer Wohnungsan-
ten – fair wohnen. Leitfaden für Mieterinnen und Mieter frage über ein Wohnungsportal der Verdacht beste-
und Beratungsstellen.
hen, dass aufgrund des Geschlechts diskriminiert
26
Senatsverwaltung für Arbeit, Integration und Frauen.
Landesstelle für Gleichbehandlung – gegen Diskri-
wird, kann das Geschlecht testweise geändert wer-
minierung. Diskriminierung sichtbar machen (2012). den. So kann überprüft werden, ob die Rückmeldung
Dokumentation der LADS-Fachrunde vom 8.11.2012 zu beziehungsweise Entscheidung sich je nach angege-
fachlichen und methodologischen Anforderungen an
Testing-Verfahren, S. 10. benem Geschlecht ändert.
Seite 19Sie können auch lesen
