Algorithmische Entscheidungssysteme - Menschenrechtliche Vorgaben und Entwicklungen auf internationaler Ebene - Deutsches Institut für ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Algorithmische Entscheidungssysteme
Menschenrechtliche Vorgaben und Entwicklungen auf internationaler Ebene
Information
Künstliche Intelligenz (KI) kann die Verarbei Was sind algorithmische
tung riesiger Datenmengen enorm erleichtern, Entscheidungssysteme?
doch birgt ihr Einsatz auch menschenrecht
liche Risiken. Die vorliegende Information KI, Algorithmen oder algorithmische Systeme
bietet einen Überblick darüber, wie verschie werden oft synonym benutzt. KI im Sinne einer
dene UN-Menschenrechtsgremien menschen eigenständig und „menschengleich“ denkenden
rechtliche Fragen bei der Anwendung von KI und handelnden Maschine gibt es bisher nicht und
beurteilen und welche Verpflichtungen sich wird es auch in absehbarer Zeit nicht geben.3 Was
für Staaten daraus ergeben. es gibt, sind von Menschen entwickelte algorithmi
sche Entscheidungssysteme,4 die Daten analysieren
Durch die rasanten technischen Entwicklungen und Lösungen für bestimmte Probleme oder Berei
in den vergangenen Jahren und die immer viel che entwickeln und vorschlagen.5 Dies geschieht
fältigeren Einsatzgebiete von Künstlicher Intelli entweder anhand eines durch die programmierende
genz (KI) ist gesetzgeberisches Eingreifen immer Person vorgegebenen Lösungsweges oder das Sys
dringender geworden, um die Gefahren und tem „lernt selbst“ aus den vorhandenen Daten und
Risiken beim Einsatz von KI zu regulieren. So entwickelt daraus algorithmenbasierte Lösungs
veröffentlichte die EU-Kommission im April 2021 wege. Je komplexer der selbstlernende Mechanis
ihren Verordnungsentwurf für die Regulierung mus wird, desto schwieriger oder unmöglich ist es
von KI, nachdem sie im Februar 2020 bereits ein für Menschen nachzuvollziehen, wie das System zu
Weißbuch für ein europäisches Konzept zum Um seinen Schlussfolgerungen gekommen ist.
gang mit den Chancen und Risiken von KI veröf
fentlich hatte.1 In Deutschland verabschiedete Die Datenethikkommission differenzierte 2019 drei
die Enquete-Kommission Künstliche Intelligenz Varianten von Entscheidungen, in denen Algorith
des Deutschen Bundestages im Oktober 2020 men eine mehr oder weniger große Rolle spielen:6
ihren Abschlussbericht, in dem sie sich mit algorithmenbasierte Entscheidungen sind
den Herausforderungen und Chancen von KI für „menschliche Entscheidungen, die sich auf algorith
Gesellschaft, Staat und Wirtschaft auseinander misch berechnete (Teil-)Informationen stützen“;
setzt. Im Dezember 2020 beschloss die Bundes algorithmengetriebene Entscheidungen sind
regierung die Fortschreibung ihrer KI-Strategie, „menschliche Entscheidungen, die durch Ergeb
mit der sie die Erforschung, Entwicklung und An nisse algorithmischer Systeme in einer Weise
wendung von KI in Deutschland fördern will.2 Im geprägt werden, dass der tatsächliche Entschei
Folgenden werden die menschenrechtlich rele dungsspielraum und damit die Selbstbestimmung
vanten Kernpunkte der Debatte um KI erläutert. des Menschen eingeschränkt werden“;2 A LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E
algorithmendeterminierte Entscheidungen „führen Entscheidungen, die mithilfe von Algorithmen
automatisiert zu Konsequenzen, sodass im Einzel getroffen werden, können aber nicht nur Auswir
fall keine menschliche Entscheidung mehr vorge kungen auf individueller Ebene haben, sondern
sehen ist“. auch gesamtgesellschaftlich. So sortieren soziale
Medien mithilfe von algorithmischen Entschei
dungssystemen Nachrichten vor und zeigen den
Menschenrechtliche Relevanz einzelnen Nutzer_innen bevorzugt solche, die
das algorithmische Entscheidungssystem als
Nicht alle Entscheidungen, die mithilfe von oder relevant für diese erkannt hat. Das hat zur Folge,
durch Algorithmen getroffen werden, haben un dass Nutzer_innen nur noch solche Nachrichten
mittelbar menschenrechtliche Relevanz. Wenn bei angezeigt bekommen, die denen ähneln, die sie
spielsweise Klimadaten verarbeitet werden oder sich vorher angesehen haben. So werden andere
ein algorithmenbasiertes Kontrollsystem an einem gesellschaftliche Diskurse zunehmend aus
Fließband fehlerhaft produzierte Teile erkennt und geblendet. Stattdessen wird die Weltsicht der
automatisch aussortiert, ist zwar ein algorithmisches einzelnen Nutzer_innen durch die angezeigten
Entscheidungssystem am Werk – Menschen sind da Nachrichten bestätigt und es entsteht das Zerr
durch aber nicht betroffen oder nur insofern, als die bild, dass „alle“ genau so denken wie sie selbst.
eingesetzte Technik Fehler vielleicht besser erkennt Eine Auseinandersetzung mit unterschiedlichen
als Menschen und dadurch Arbeitsplätze durch Meinungen findet so immer weniger statt.
Automatisierung wegfallen oder sich verändern.
Einige Menschenrechte, wie das Recht auf Privat
Menschenrechtlich relevant wird der Einsatz von sphäre und das Diskriminierungsverbot, sind durch
algorithmischen Entscheidungssystemen erst dann, die Anwendung algorithmischer Entscheidungssys
wenn sie Menschen in ihren Rechten betreffen.7 teme besonders gefährdet; ihre Verletzung zieht
Das ist dann der Fall, wenn personenbezogene meistens eine Verletzung auch anderer Menschen
Daten verarbeitet werden und ein algorithmisches rechte nach sich.8 Daneben ist auch das Recht
Entscheidungssystem auf Grundlage dieser Daten auf Zugang zu Abhilfe von besonderer Bedeutung.
beispielsweise darüber entscheidet, ob jemand eine Denn für Betroffene wird es schwierig, gegen eine
staatliche Leistung erhalten oder in einem Bewer Entscheidung Einspruch zu erheben, wenn diese
bungsverfahren für den Öffentlichen Dienst zuge algorithmengetrieben oder algorithmendeterminiert
lassen werden soll. getroffen wurde. Falls sie überhaupt Kenntnis davon
erlangen, dass sie in ihren Rechten verletzt wurden,
Dabei können algorithmische Entscheidungs bleibt es für sie fast immer unmöglich, Einblick in
systeme positive als auch negative menschen die Entscheidungsgrundlage des algorithmischen
rechtliche Relevanz entfalten. Im medizinischen Entscheidungssystems zu erhalten.
Bereich, beispielsweise der radiologischen Dia
gnostik, können sie unterstützend wirken und Das Recht auf Privatsphäre hat im digitalen Zeit
so zur Verwirklichung des Rechts auf Gesund alter eine immense Bedeutung und Hebelwirkung.
heit beitragen. Rechte von Menschen sind auch Wird es angemessen geschützt, ermöglicht es
betroffen, wenn mithilfe eines algorithmischen politische, wirtschaftliche, soziale und kulturelle
Entscheidungssystems eine Vorhersage über Teilhabe und damit die Ausübung der mit dieser
menschliches Handeln getroffen wird, beispiels Teilhabe verbundenen Menschenrechte. Umge
weise darüber, ob jemand zu einer riskanten kehrt kann die Aushöhlung der Privatsphäre zur
Fahrweise im Straßenverkehr neigt oder eine Verletzung und Einschränkung anderer Menschen
Rechnung bezahlen wird. Solche Vorhersagen rechte führen. So kann beispielsweise der Einsatz
aufgrund von Wahrscheinlichkeiten können dann automatischer Gesichtserkennungssysteme zur
die Entscheidung, ob eine Person beispielsweise Aushöhlung der Versammlungsfreiheit führen,
einen Kredit bekommt, wesentlich beeinflussen. wenn Menschen aus Angst davor, identifiziert undA LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E 3
verfolgt zu werden, nicht an einer Demonstration sondern weil es mit großen Mengen an Bildern
teilnehmen.9 Oder das Recht auf ein faires Verfah darauf trainiert wurde, einen Menschen zu erkennen.
ren kann beeinträchtigt werden, wenn die Identi Zeigen diese „Trainingssätze“ nur bestimmte
fizierung von Straftaten oder Straftäter_innen an Menschen, beispielsweise nur Frauen oder nur
algorithmische Entscheidungssysteme ausgela Personen bestimmter Herkunft, können algorith
gert wird, die falsch-positive Ergebnisse liefern mische Entscheidungssysteme andere Menschen
oder diskriminierende Entscheidungen treffen.10 auch nicht als solche erkennen. Sie sind daher
Im Rahmen von Grenzkontrollen, insbesondere fehleranfällig: Ihre Entscheidungen basieren auf
an Flughäfen, kann der Einsatz automatischer den zugrundeliegenden, realitäts- und damit wert
Gesichtserkennungssysteme diskriminierend behafteten Trainingsdaten.15
wirken, wenn diese Systeme Menschen aufgrund
ihrer Hautfarbe oder ihres Geschlechts nicht Dabei kann Automatisierung, also die Auslage
oder weniger gut erkennen.11 Denn durch die rung einzelner Schritte im Entscheidungsprozess
Nicht- oder Falscherkennung werden sie von an eine Maschine, auch Diskriminierung entgegen
automatisierten Grenzkontrollen ausgeschlossen, wirken, wenn Entscheidungen auf objektiven Kri
womit negative Stereotype wiederholt und ver terien beruhen.16 Da jedoch die Datensätze, die
festigt werden. Aber auch wirtschaftliche und zur Automatisierung von Entscheidungsschritten
soziale Rechte können betroffen sein: Wenn herangezogen werden, aus der gesellschaftlichen
Staaten bei der Verwaltung der Daseinsvorsorge, Realität gewonnen werden, enthalten sie genau
etwa bei der Bewilligung von Sozialleistungen, die Vorurteilsstrukturen, die in der Geselschaft
immer mehr auf von Technologie-Unternehmen zu Diskriminierung führen. Ein bekanntes Beispiel
entwickelte algorithmische Entscheidungssysteme dafür sind Bewerbungsverfahren, die auf die
vertrauen, die nicht mehr durchschaubar und Daten vergangener Bewerbungsverfahren zurück
hinterfragbar sind.12 greifen, um die besten Kandidat_innen auszu
wählen. Wurden in der Vergangenheit vorzugsweise
Männer eingestellt, könnte das algorithmische
Datenanalyse ohne Entscheidungssystem in seiner Analyse der Daten
gesellschaftlichen Kontext folgern, dass Männer bessere Kandidaten als
Frauen sind.17 Probleme können aus den Daten
Die Aufzählung dieser verschiedenen Beispiele sätzen und der Datenanalyse auch dadurch entste
macht bereits eines deutlich: In der öffentlichen hen, dass anonymisierte Daten de-anonymisiert
Debatte überwiegen die Beispiele negativer werden oder die Datenanalyse Korrelationen
Konsequenzen aus dem Einsatz algorithmischer entdeckt und verarbeitet, welche keine kausalen
Entscheidungssysteme. Grund hierfür ist die Funk Zusammenhänge haben.18
tionsweise dieser Systeme. Sie basieren auf
mathematischen Regeln, nach denen eine Ent Automatisierung kann zudem Transparenz, Unter
scheidung getroffen wird, sowie Algorithmen, suchbarkeit und Erklärbarkeit einer Entscheidung
die dieses mathematische Modell anwendbar verhindern.19 Denn selbstlernende algorithmische
machen.13 Um das Modell anzuwenden, braucht Entscheidungssysteme sind nicht (mehr) nur auf
es schließlich riesige Datenmengen und eine die von (menschlichen) Programmierer_innen
umfassende Analyse dieser Daten. Beides, Daten entworfenen Entscheidungsregeln angewiesen,
sätze und Datenanalyse, können Fehlerquellen sondern in der Lage, eigene neue Entscheidungs
sein und zu Risiken für die Wahrnehmung der findungsregeln aufzustellen und anzuwenden.20
Menschenrechte führen.14 Denn diesen Daten, Diese Anpassungs- und Lernfähigkeit hat erheb
den „Trainingssätzen“, fehlt es am gesellschaft lichen Einfluss darauf, ob die getroffene Ent
lichen Kontext: Ein algorithmisches Entscheidungs scheidung transparent und nachvollziehbar ist
system identifiziert einen Menschen auf einem und führt damit zur Frage, wer genau für eine
Bild nicht, weil es weiß, was ein Mensch ist, Entscheidung verantwortlich ist.214 A LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E
Staatenpflichten beim Einsatz algo Normative Vorgaben und Entwicklun
rithmischer Entscheidungssysteme gen auf internationaler Ebene
Staaten sind verpflichtet, die Menschenrechte zu Die Menschenrechte sind in einer Reihe von Ver
achten, zu schützen und zu gewährleisten. Die Ach trägen der Vereinten Nationen auf internationaler
tungspflicht bedeutet, dass der Staat Menschen Ebene verankert. Dazu gehören der Zivil- und der
rechte nicht verletzen darf, wenn er in der Inter Sozialpakt, aber auch gruppenspezifische und the
aktion mit seinen Bürger_innen algorithmische matische Menschenrechtsverträge wie die UN-Be
Entscheidungssysteme anwendet. Wenn ein Staat hindertenrechtskonvention oder die Anti-Rassis
beispielsweise bei der Bearbeitung und Bewilligung mus-Konvention, die beide insbesondere in Hinblick
von Sozialleistungen auf algorithmische Entschei auf Diskriminierungsverbote und Teilhaberechte von
dungssysteme zurückgreift, muss er sicherstellen, Bedeutung sind.
dass er dabei nicht diskriminiert oder unverhältnis
mäßig in die Privatsphäre eingreift. Die Menschenrechtsverträge kennen keine spe
ziellen „digitalen Rechte“. Den Grund- und Men
Der Staat muss darüber hinaus Menschenrechte schenrechten liegt aber immer ein dynamisches
gewährleisten, also ermöglichen, dass Menschen Verständnis zugrunde, ihre Interpretation orientiert
ihre Menschenrechte ausüben. Algorithmische sich also an der jeweiligen Lebenswirklichkeit, mit
Entscheidungssysteme können hierbei unterstüt der sie konfrontiert werden, sowie den technologi
zend wirken. Um wirkungsvolle politische Maß schen und gesellschaftlichen Weiterentwicklungen,
nahmen ergreifen zu können, ist die Erhebung welche sich im Laufe der Zeit ergeben. Alle auf in
und Analyse von Daten oft unerlässlich. Daher ternationaler Ebene geschützten Menschenrechte
rufen auch Menschenrechtsgremien Staaten entfalten ihre Wirkung deshalb offline wie online24
immer wieder dazu auf, aussagekräftige Daten zu und somit auch mit Blick auf die Anwendung
sammeln und politische Maßnahmen auf Grund algorithmischer Entscheidungssysteme. Auch der
lage der gewonnenen Erkenntnisse zu ergreifen. UN-Menschenrechtsrat weist explizit darauf hin,
Selbstlernende algorithmische Entscheidungs dass Menschenrechte auch im digitalen Raum zu
systeme können dabei helfen, große Datenmen achten, zu schützen und zu gewährleisten sind.25
gen zu analysieren oder auch Strukturen und Verschiedene UN-Gremien haben sich inzwischen
Zusammenhänge zu entdecken, nach denen mit den Auswirkungen algorithmischer Entschei
bisher vielleicht nicht gesucht wurde.22 Ebenso dungssysteme auf die Menschenrechte befasst.
können algorithmische Entscheidungssysteme
genutzt werden, um aus einer Gruppe von Per 2019 griff die UN-Generalversammlung in ihrer
sonen jene zu identifizieren, die Anspruch auf Resolution zum Recht auf Privatsphäre im digita
besondere Unterstützungsleistungen haben, len Zeitalter das Thema auf. Die Resolution hebt
beispielsweise um einem Studienabbruch von die Notwendigkeit hervor, algorithmische Entschei
Student_innen entgegenzuwirken.23 dungssysteme auf der Grundlage von Menschen
rechten zu gestalten, zu evaluieren und zu regulie
Schließlich ist der Staat verpflichtet, seine Bürger_ ren und ruft Unternehmen dazu auf, die Achtung
innen auch vor Menschenrechtsverstößen durch des Rechts auf Privatsphäre und anderer Men
Dritte schützen, zum Beispiel vor Diskriminierung, schenrechte in der Gestaltung, dem Betrieb, der Be
die entstehen kann, wenn Unternehmen algorithmi wertung und der Regulierung von algorithmischen
sche Entscheidungssysteme anwenden. So dürfen automatisierten Entscheidungsfindungssystemen
Arbeitgeber_innen bei Einstellungen beispielweise sicherzustellen, sowie für die Behebung der Men
nicht nach Geschlecht oder Herkunft diskriminie schenrechtsverstöße zu sorgen, die sie verursacht
ren. Dieses Verbot gilt natürlich auch, wenn bei der oder zu denen sie beigetragen haben.26
Auswahl algorithmische Entscheidungssysteme
genutzt werden. Staaten sind also in der Pflicht, In seiner 41. Sitzung (Juli 2019) beauftragte der
regulierend einzugreifen, um solche Menschen UN-Menschenrechtsrat sein Beratungsgremium
rechtsverstöße zu verhindern. (advisory committee), zur 47. Sitzung (Juni 2021)A LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E 5
eine Studie über die möglichen Auswirkungen, (b) sicherstellen, dass sie Regulierungsmaßnahmen
Chancen und Herausforderungen neuer und neu ergreifen, damit Menschenrechte bei Design,
entstehender digitaler Technologien im Hinblick auf Bereitstellung und Einsatz von algorithmischen
die Förderung und den Schutz der Menschenrechte Entscheidungssystemen durch Unternehmen im
vorzulegen.27 Anschließend nahm der UN-Men Vordergrund stehen.32
schenrechtsrat in seiner 42. Sitzung in seiner Reso
lution zum Recht auf Privatsphäre im digitalen Zeit Der UN-Sonderberichterstatter zu extremer Ar
alter den Zusammenhang zwischen algorithmischen mut und Menschenrechte hat sich 2019 mit den
Entscheidungssystemen und Diskriminierung in den Auswirkungen des Einsatzes algorithmischer Ent
Blick. Darin erkennen die Mitgliedsstaaten an, dass scheidungssysteme in Bezug auf sozialstaatliche
die Gestaltung, Entwicklung und Einführung neu Leistungen beschäftigt („digital welfare state dys
er und neu entstehender Technologien menschen topia“). Er zeigt anhand von vielen Beispielen aus
rechtsbasiert reguliert werden muss, um das Recht allen Regionen der Welt, wie die Nutzung von algo
auf Privatsphäre angemessen zu schützen. Zu die rithmischen Entscheidungssystemen für die Verwal
ser Regulierung gehöre „eine sichere, gesicher tung von Sozialstaatsleistungen zu Reproduktion
te und qualitativ hochwertige Dateninfrastruktur und Verstärkung von Diskriminierung und Ungleich
und durch die Entwicklung von auf den Menschen heit geführt hat. Die Digitalisierung der Daseinsvor
ausgerichteten Prüfungsmechanismen sowie von sorge birgt auch die Gefahr, dass – unter dem An
Rechtsbehelfsmechanismen“.28 Auf Grundlage der spruch, Abläufe effizienter zu gestalten und Kosten
Resolution fand im Mai 2020 ein eintägiges Exper zu sparen – Bürger_innen nur noch von „maschinel
tenseminar statt29, der in Auftrag gegebene thema len“ Entscheidungen verwaltete Antragsteller_in
tische Bericht der UN-Hochkommissarin für Men nen sind und nicht mehr Rechteinhaber_innen. Da
schenrechte liegt noch nicht vor.30 her empfiehlt der UN-Sonderberichterstatter (a) die
explizite Prüfung der verwendeten Datensätze auf
In seiner Allgemeinen Empfehlung Nr. 36 zur Prä Menschenrechtsstandards, (b) Transparenzpflich
vention und Bekämpfung von Racial Profiling durch ten, damit die Öffentlichkeit und Betroffene die ein
Strafverfolgungsbehörden hat der UN-Fachaus gesetzten algorithmischen Entscheidungssysteme
schuss gegen rassistische Diskriminierung verstehen, und (c) dass Staaten Daseinsvorsorge in
auch das Thema Polizeiarbeit mit Hilfe von algorith einer Art betreiben, die „die Menschlichkeit und die
mischen Entscheidungssystemen aufgegriffen.31 Belange der weniger Wohlhabenden in jeder Gesell
Das kann sowohl die Aufklärung als auch die Vor schaft in vollem Umfang berücksichtigt“. Techno
hersage von Straftaten (predictive policing) betref logische Entwicklung, so der Sonderberichterstat
fen. Der Ausschuss empfiehlt daher umfassende ter, hat durchaus das Potenzial, dazu beizutragen,
Maßnahmen, um Menschenrechte beim Einsatz von „einen höheren Lebensstandard für die Schwachen
algorithmischen Entscheidungssystemen umfas und Benachteiligten zu gewährleisten“.33
send zu schützen.
Anfang 2021 veröffentlichte der UN-Sonderbe
Mehrere UN-Sonderberichterstatter haben sich ex richterstatter zum Recht auf Privatsphäre Emp
plizit mit den Auswirkungen von algorithmischen fehlungen zum Schutz des Rechts auf Privatsphäre
Entscheidungssystemen auf die Menschenrechte in der Entwicklung und dem Einsatz von algorithmi
beschäftigt. In seinem Bericht zu den Auswirkun schen Entscheidungssystemen. Darin stellt er acht
gen von Technologien künstlicher Intelligenz auf grundsätzliche Datenschutzerwägungen für den
die Menschenrechte, insbesondere auf das Recht Umgang mit algorithmischen Entscheidungssys
auf Meinungsfreiheit und freie Meinungsäußerung, temen vor: rechtliche Zuständigkeit, ethische und
auf Privatsphäre und Nichtdiskriminierung hebt der gesetzliche Datenverarbeitungsgrundlage, Daten
UN-Sonderberichterstatter zur Meinungsfrei grundlagen, Verantwortung und Aufsicht, Kontrolle,
heit hervor, dass Staaten (a) eine menschenrecht Transparenz und Erklärbarkeit, Rechte betroffener
liche Auswirkungsanalyse (human rights impact Personen und Schutzmaßnahmen. Auch er plädiert
assessment) durchführen sollten, bevor sie algo für eine umfassende menschenrechtliche Auswir
rithmische Entscheidungssysteme einsetzen; und kungsanalyse.346 A LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E
Elemente eines menschenrechtsba solchen Informationen können die wenigsten Men
sierten Umgangs mit algorithmischen schen etwas anfangen. Auch rechtlich kann eine kom
Entscheidungssystemen plette Offenlegung problematisch sein. Stattdessen
sollten Nutzer_innen über die Existenz, den Zweck,
Aus den oben genannten Berichten, Resolutionen die Beschaffenheit und die Wirkung des algorithmi
und Allgemeinen Empfehlungen lassen sich folgen schen Entscheidungssystems informiert werden,41
de Schlussfolgerungen für Elemente eines men ebenso über Maßnahmen, die getroffen wurden, um
schenrechtsbasierten Ansatzes im Umgang mit al die Verletzung von Menschenrechten zu verhindern.42
gorithmischen Entscheidungssystemen ziehen: Bürger_innen müssen wissen, dass eine für sie re
levante Entscheidung durch oder mithilfe von algo
Menschenrechtliche Auswirkungen prüfen: Be rithmischen Entscheidungssystemen getroffen wird.
hörden sollten vor der Entscheidung, ein algorithmi Dazu gehört auch, dass deutlich gemacht wird, wo
sches Entscheidungssystem entwickeln zu lassen und/oder wann Menschen im Entscheidungspro
oder zu nutzen, die möglichen menschenrechtli zess involviert sind, welcher Logik algorithmische Ent
chen Auswirkungen untersuchen (human rights im scheidungssysteme folgen und welche Konsequenzen
pact assessment) und auch während des Betriebs die Entscheidung im Einzelfall haben wird.43 Weiterhin
regelmäßig die menschenrechtlichen Auswirkun muss es zumindest für Fachleute möglich sein, die
gen überprüfen.35 Dies schließt sowohl eine Selbst technische Funktionsweise und die Entscheidungen
begutachtung als auch externe Begutachtung ein.36 des algorithmischen Entscheidungssystems nachzu
Dafür können auch zunächst Pilotprojekte unter der vollziehen44 und so auch die Justiz bei der Prüfung, ob
Aufsicht von unabhängigen und divers besetzten Menschenrechte durch das algorithmische Entschei
Gremien initiiert werden.37 dungssystem verletzt wurden, zu unterstützen.
Diskriminierungsrisiken ausschließen: Men Zugang zum Recht: Betroffene müssen Zugang zu
schenrechtliche Auswirkungsanalysen sollten im ausreichendem, wirksamem, raschem und ange
mer auch untersuchen, ob das algorithmische messenem Rechtsschutz bekommen können und al
Entscheidungssystem diskriminierende Wirkung gorithmisch getroffene Entscheidungen anfechten
entfalten könnte oder entfaltet.38 Damit muss ein können. Vorfälle von Diskriminierung und andere ne
Fokus auf die verwendeten Datensätze gelegt wer gative menschenrechtliche Auswirkungen algorith
den: Enthalten sie Daten, in dem eine Personen mischer Entscheidungssysteme sollten umfassend
gruppe bevorzugt wird? Ist das Entscheidungssys untersucht und auch sanktioniert werden.45 Zum
tem so programmiert, dass es aus Datensätzen Rechtsschutz gehört auch, dass Verantwortlichkei
selbstlernend diskriminierende Näherungsvariablen ten vorab geregelt werden und immer eine juristische
(sogenannte Proxies) entwickelt und zur Lösungs- oder natürliche Person verantwortlich sein muss.46
oder Entscheidungsfindung heranzieht und so gege Ansonsten können Widersprüche gegen Entscheidun
benenfalls diskriminierende Wirkung entfaltet?39 gen, die algorithmische Entscheidungssysteme ge
troffen haben, nicht bearbeitet werden und Missbräu
Partizipation sicherstellen: Zu einem menschen che nicht den jeweiligen Verantwortlichen angelastet
rechtsbasierten Umgang mit algorithmischen Ent werden. Fehlender Rechtsschutz könnte dann auch
scheidungssystemen gehört auch die Beteiligung zu Akzeptanzproblemen der verwendeten Technolo
potenzieller Nutzer_innengruppen und Betroffener. gie, aber insbesondere auch zu schwindendem Ver
Diese sollten im Entwicklungs- und Beschaffungs trauen gegenüber staatlichen Institutionen führen.
stadium, aber auch während der Nutzung algorith
mischer Entscheidungssysteme durch öffentliche Regulierung: Schließlich müssen Staaten regulie
Beteiligungsformate einbezogen werden.40 rend eingreifen, damit die genannten Standards
auch von Unternehmen eingehalten werden, die
Transparenz und Information: Mit der Anwendung algorithmische Entscheidungssysteme (oft im
von algorithmischen Entscheidungssystemen gehen staatlichen Auftrag) entwickeln und anwenden.47
auch umfassende Transparenz- und Informations Dazu gehört auch die regelmäßige Evaluierung und
pflichten einher. Information und Transparenz bedeu Überarbeitung solcher Standards. Dies sollte auch
ten nicht die komplette Offenlegung von Codes; mit die Gründung (oder Beauftragung vorhandener)A LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E 7
unabhängiger Aufsichtsbehörden umfassen, algorithmischen Entscheidungssystemen werden
welche algorithmische Entscheidungssysteme auf vor ihrem Einsatz nur unzureichend analysiert –
die Einhaltung von Menschenrechtsstandards hin wenn dies überhaupt getan wird. Dieser Befund gilt
überprüfen können. Ergeben solche Prüfungen ein gleichermaßen für Staaten und für Unternehmen, die
hohes Diskriminierungs- oder anderes menschen algorithmische Entscheidungssysteme entwickeln.
rechtliches Risiko, sollte auf den Einsatz der ent
sprechenden Systeme verzichtet werden.48 Staaten müssen dafür Sorge tragen, dass sie bei
der Anwendung von algorithmischen Entschei
Algorithmische Entscheidungssysteme sind keine dungssystemen Menschenrechte achten, schützen,
selbstständig denkenden Maschinen, sondern fördern und gewährleisten. Dies kann auch bedeu
technische Hilfsmittel, die sehr große Datenmen ten, dass der Einsatz algorithmischer Entschei
gen nach vorgegebenen oder selbstgelernten Algo dungssysteme in manchen Bereichen ausgeschlos
rithmen analysieren können. Sie sind damit in be sen werden muss. Der Verordnungsentwurf der
stimmten Bereichen sehr leistungsfähig. Mit Blick EU-Kommission zur Regulierung von KI geht durch
auf die bisherige Praxis überwiegen aus menschen die Klassifizierung mancher Anwendungen als „un
rechtlicher Perspektive Sorge bereitende Beispiele. annehmbares Risiko“ einen ersten Schritt in diese
Die menschenrechtlichen Auswirkungen von Richtung.
1 European Commission (2021): Proposal for a Regulation laying 11 UN, Special Rapporteur on contemporary forms of racism, racial
down harmonised rules on artificial intelligence. COM(2021) 206 discrimination, xenophobia and related intolerance (2020): Re
final; European Commission (2020): Weißbuch zur Künstlichen port of the Special Rapporteur on contemporary forms of racism,
Intelligenz – ein europäisches Konzept für Exzellenz und Vertrau racial discrimination, xenophobia and related intolerance, UN
en, COM(2020) 65 final. Doc. A/75/590, Ziff. 9.
2 Bundesregierung (02.12.2020): Künstliche Intelligenz – 12 UN, Special Rapporteur on extreme poverty and human rights
„Die entscheidende Zukunftstechnologie des 21. Jahrhunderts“. (2019): Report of the Special Rapporteur on extreme poverty and
https://www.bundesregierung.de/breg-de/aktuelles/fort human rights, UN Doc. A/74/493.
schreibung-ki-strategie-1824340 (abgerufen am 24.05.2021); 13 Algorithm Watch (2019): Atlas der Automatisierung. Auto
Deutscher Bundestag (28.10.2020): Bericht der Enquete-Kom matisierte Entscheidungen und Teilhabe in Deutschland,
mission Künstliche Intelligenz – Gesellschaftliche Verantwortung S. 9. https://atlas.algorithmwatch.org/wp-content/up
und wirtschaftliche, soziale und ökologische Potenziale. Druck loads/2019/07/Atlas_der_Automatisierung_von_Algori
sache 19/23700. thmWatch.pdf (abgerufen am 17.01.2020).
3 Access Now (2018): Human Rights in the Age of Artificial In 14 Council of Europe (2018), a.a.O., S. 10.
telligence, S. 8. https://www.accessnow.org/cms/assets/ 15 Beispielsweise kann es passieren, dass ein Bilderkennungspro
uploads/2018/11/AI-and-Human-Rights.pdf (abgerufen am gramm Küchen automatisch mit Frauen assoziiert, weil die vor
17.01.2020). handenen Trainingsdaten überwiegend Küchen und Frauen ab
4 Für eine umfassende Darstellung siehe beispielsweise OECD bilden. Süddeutsche.de (27.08.2017): Sexismus im Algorithmus.
(2019): Artificial Intelligence in Society. Paris: OECD Publishing. https://www.sueddeutsche.de/digital/netzkolumne-
5 UN, Special Rapporteur on the promotion and protection of the vorurteile-im-algorithmus-1.3642503 (abgerufen am
right to freedom of opinion and expression (2018): Report of the 21.05.2021).
Special Rapporteur on the promotion and protection of the right 16 UN, Special Rapporteur on the promotion and protection of the
to freedom of opinion and expression, UN Doc. A/73/348, Ziff. 4. right to freedom of opinion and expression (2018), a.a.O., Ziff. 6.
6 Datenethikkommission der Bundesregierung (2019): Gutachten 17 The Verge (10.10.2018): Amazon reportedly scraps internal AI
der Datenethikkommission, S. 24. https://www.bmi.bund.de/ recruiting tool that was biased against women. The secret pro
SharedDocs/downloads/DE/publikationen/themen/ gram penalized applications that contained the word “women’s”.
it-digitalpolitik/gutachten-datenethikkommission.html (abgeru https://www.theverge.com/2018/10/10/17958784/
fen am 21.02.2020). ai-recruiting-tool-bias-amazon-report (abegrufen am 21.05.2021).
7 Zweig, Katharina A. (2019): Algorithmische Entscheidungen: 18 UN, Special Rapporteur on the promotion and protection of the
Transparenz und Kontrolle. In: Konrad-Adenauer-Stiftung, Analy right to freedom of opinion and expression (2018), a.a.O., Ziff. 7.
sen & Argumente 2019 (338), S. 5. 19 Ebd., Ziff. 6.
8 UN, Special Raporteur on the right to privacy (2021): Report 20 Council of Europe (2018), a.a.O., S. 6.
of the Special Raporteur on the right to privacy, UN Doc. A/ 21 UN, Special Rapporteur on the promotion and protection of the
HRC/46/37, Ziff. 2, 13. right to freedom of opinion and expression (2018), a.a.O., Ziff. 8.
9 Access Now (2018), a.a.O., S. 21. 22 The Guardian (20.02.2020): Powerful antibiotic discovered using
10 Council of Europe (2018): Algorithms and Human Rights. Study machine learning for first time. https://www.theguardian.com/
on the human rights dimensions of automated data processing society/2020/feb/20/antibiotic-that-kills-drug-resistant-
techniques and possible regulatory implications, DGI (2017)12, bacteria-discovered-through-ai (abgerufen am 24.05.2021).
S. 10.8 A LG O R I T H M I S C H E E N T S C H E I D U N G S SY S T E M E
23 Martini, Mario u.a. (2020): Automatisch erlaubt? Fünf Anwen 35 UN, Committee on the Elimination of Racial Discrimination
dungsfälle algorithmischer Systeme auf dem juristischen (2020), a.a.O., Ziff. 60; UN, Special Rapporteur on the promotion
Prüfstand. Gütersloh: Bertelsmann Stiftung, S. 22. and protection of the right to freedom of opinion and expression
24 UN, General Assembly (2013): Resolution “The right to privacy in (2018), a.a.O., Ziff. 53.
the digital age”, UN Doc. A/RES/68/167, OP 3. 36 UN, Special Rapporteur on the promotion and protection of the
25 UN, Human Rights Council (2018): Resolution “The promotion, right to freedom of opinion and expression (2018), a.a.O., Ziff. 53.
protection and enjoyment of human rights on the Internet”, UN 37 UN, Committee on the Elimination of Racial Discrimination
Doc. A/HRC/RES/38/7, OP 1. (2020), a.a.O., Ziff. 59.
26 UN, General Assembly (2018), Resolution “The right to privacy in 38 UN, Committee on the Elimination of Racial Discrimination
the digital age”, UN Doc. A/RES/73/179, PP 19, OP 7 (d). (2020), a.a.O., Ziff. 58; UN, Special Rapporteur on the promotion
27 UN, Human Rights Council (2019): Resolution “New and emer and protection of the right to freedom of opinion and expression
ging digital technologies and human rights”, UN Doc. A/HRC/ (2018), a.a.O., Ziff. 52.
RES/41/11, OP 1; die Studie wird voraussichtlich unter UN 39 UN, Special Rapporteur on the promotion and protection of the
Docs. A/HRC/47/52 erscheinen, UN, Human Rights Council right to freedom of opinion and expression (2018), a.a.O., Ziff. 52.
(2021): Agenda and annotations, UN Doc. A/HRC/47/1, Ziff. 82. 40 UN, Committee on the Elimination of Racial Discrimination
28 UN, Human Rights Council (2019): Resolution “The right to (2020), a.a.O., Ziff. 60; UN, Special Rapporteur on the promotion
privacy in the digital age”, UN Doc. A/HRC/RES/42/15, OP 5. and protection of the right to freedom of opinion and expression
29 UN, Office of the High Commissioner for Human Rights: Expert (2018), a.a.O., Ziff. 54.
Seminar on Artificial Intelligence and the Right to Privacy, 27-28 41 UN, Special Rapporteur on the promotion and protection of the
May 2020. Report of the proceedings. https://www.ohchr.org/ right to freedom of opinion and expression (2018), a.a.O., Ziff. 50.
Documents/Issues/DigitalAge/ExpertSeminarReport-Right- 42 UN, Committee on the Elimination of Racial Discrimination
Privacy.pdf (abgerufen am 21.05.2021). (2020), a.a.O., Ziff. 61.
30 UN, Human Rights Council (2021): Agenda and annotations, 43 UN, Special Rapporteur on the promotion and protection of the
UN Doc. A/HRC/47/1, Ziff. 46. right to freedom of opinion and expression (2018), a.a.O., Ziff. 49.
31 UN, Committee on the Elimination of Racial Discrimination 44 Ebd., Ziff. 56.
(2020): General recommendation No. 36 (2020) on preventing 45 UN, Committee on the Elimination of Racial Discrimination
and combating racial profiling by law enforcement officials, (2020), a.a.O., Ziff. 65.
UN Doc. CERD/C/GC/36, Ziff. 21–36. 46 UN, Special Raporteur on the right to privacy (2021), a.a.O., Ziff. 9.
32 UN, Special Rapporteur on the promotion and protection of 47 UN, Committee on the Elimination of Racial Discrimination
the right to freedom of opinion and expression (2018), a.a.O., (2020), a.a.O., Ziff. 63–64; UN, Special Rapporteur on the pro
Ziff. 62–63. motion and protection of the right to freedom of opinion and
33 UN, Special Rapporteur on extreme poverty and human rights expression (2018), a.a.O., Ziff. 63.
(2019), a.a.O., Ziff. 50, 81–84. 48 UN, Committee on the Elimination of Racial Discrimination
34 UN, Special Raporteur on the right to privacy (2021), a.a.O., (2020), a.a.O., Ziff. 62, 63.
Ziff. 27–49, 50–61.
Impressum Das Institut
Information Nr. 35 | Juni 2021 | ISSN 2509–9493 (PDF) Das Deutsche Institut für Menschenrechte ist die unabhängige
Nationale Menschenrechtsinstitution Deutschlands. Es ist gemäß
HERAUSGEBER: Deutsches Institut für Menschenrechte den Pariser Prinzipien der Vereinten Nationen akkreditiert (A-Sta
Zimmerstraße 26/27 | 10969 Berlin tus). Zu den Aufgaben des Instituts gehören Politikberatung, Men
Tel.: 030 259 359–0 | Fax: 030 259 359–59 schenrechtsbildung, Information und Dokumentation, anwendungs
info@institut-fuer-menschenrechte.de orientierte Forschung zu menschenrechtlichen Themen sowie die
www.institut-fuer-menschenrechte.de Zusammenarbeit mit internationalen Organisationen. Es wird vom
Deutschen Bundestag finanziert. Das Institut ist zudem mit dem
AUTORIN: Rosa Öktem Monitoring der Umsetzung der UN-Behindertenrechtskonvention
und der UN-Kinderrechtskonvention betraut worden und hat hierfür
LIZENZ: entsprechende Monitoring-Stellen eingerichtet.
Creative Commons (CC BY-NC-ND 4.0)
https://creativecommons.org/licenses/by-nc-nd/4.0/deed.deSie können auch lesen
