2020 REPORT - DEUTSCHE AUSGABE - Bertelsmann Stiftung
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
TOMA
REPORT
AU TING
SOCIET Y
2020
DEUTSCHE
AUSGABE
IMPRESSUM Automating Society Report 2020 Januar 2021 Online verfügbar unter: https://automatingsociety.algorithmwatch.org Veröffentlicht von AlgorithmWatch gGmbH Linienstr. 13 10178 Berlin Bertelsmann Stiftung Carl-Bertelsmann-Str. 256 33311 Gütersloh Herausgeber·innen Fabio Chiusi Sarah Fischer Nicolas Kayser-Bril Matthias Spielkamp Projektmanagement Fabio Chiusi Koordination Marc Thümmler Comics Samuel Daveti Lorenzo Palloni Alessio Ravazzani Übersetzung Katrin Harlaß Gestaltung Beate Autering Redaktionsassistenz Leonard Haas Redaktionsschluss: 30. September 2020 Diese Publikation ist veröffentlicht unter der Lizenz Creative Commons Namensnennung 4.0 International https://creativecommons.org/licenses/by/4.0/legalcode.de
Inhalt Einleitung 4 Europäische Union 16 Deutschland 36 Team 53
EINLEITUNG Systeme zum automatisierten Entscheiden sind im Alltag angekommen. Wie gehen wir damit um? Von Fabio Chiusi Redaktionsschluss für diesen Bericht war der 30. September 2020. Spätere Entwicklungen konnten nicht berücksichtigt werden. 4 Automating Society Report 2020
EINLEITUNG
Es war ein bewölkter Augusttag in London, und die des ADM-Benotungssystems zugeschnitten: Sprüche wie
Schüler·innen waren wütend. Zu Hunderten strömten sie „Benotet meine Arbeit, nicht meine Postleitzahl“ oder „Wir
protestierend zum Parliament Square. Auf ihren Plakaten sind Schüler·innen, keine statistischen Größen“ prangerten
prangten Unterstützerslogans für ungewöhnliche Verbün- die diskriminierenden Ergebnisse an, die es geliefert hatte2.
dete: ihre Lehrer·innen. Und daneben ein noch weit unge-
wöhnlicheres Angriffsziel: ein Algorithmus. Schließlich stimmte die Menge einen lauten Sprechchor
an, der künftig bei Protesten zum festen Kanon gehören
Wegen der Corona-Pandemie hatte das Vereinigte Kö- dürfte: „Fuck the algorithm”. Aus Angst, die Regierung au-
nigreich im März die Schulen geschlossen. Das Virus hielt tomatisiere eben mal so – und auf undurchsichtige Weise
auch den Sommer über ganz Europa in Atem, und den – ihre Zukunft, ganz gleich, ob die Benotung ihre tatsächli-
Schüler·innen war klar, dass ihre Abschlussprüfungen aus- chen Fähigkeiten und Anstrengungen widerspiegelte oder
fallen und ihre Noten – irgendwie – anders ermittelt werden nicht, forderten die Schüler·innen das Recht ein, sich ihre
würden. Was sie sich allerdings nicht hatten vorstellen kön- Zukunftschancen nicht über Gebühr von einem fehlerhaf-
nen, war, dass Tausende von ihnen schlechter abschneiden ten Code vermasseln zu lassen. Sie wollten mitreden, und
würden als erwartet. was sie zu sagen hatten, sollte gehört werden.
Ihren Schildern und Sprechgesängen zufolge wussten die Algorithmen sind weder „neutral“ noch „objektiv“, auch
protestierenden Schüler·innen offenbar ganz genau, wer wenn wir das gerne glauben wollen. Sie reproduzieren
daran schuld war: das vom Office of Qualifications and Ex- die Annahmen und Überzeugungen jener, die sich dafür
aminations Regulation (Ofqual) genutzte ADM-System (au- entscheiden, sie einzusetzen und zu programmieren. Aus
tomated decision-making system). Die Behörde plante, die diesem Grund sind für die Auswahl guter wie schlechter
bestmöglichen datenbasierten Einschätzungen sowohl für Algorithmen Menschen verantwortlich (oder sollten es
General Certificates of Secondary Education (Mittlere Reife) sein) und nicht „Algorithmen“ oder ADM-Systeme. Maschi-
als auch A-Level-Ergebnisse (Abiturzeugnisse) zu generie- nen mögen uns Angst machen, doch der Geist, der ihnen
ren, und zwar so, dass „die Verteilung der Noten einem innewohnt, ist stets ein menschlicher. Und Menschen sind
Muster folgt, das dem vorangegangener Jahre ähnelt, so komplizierte Wesen, komplizierter noch als Algorithmen.
dass die Schüler·innen dieses Jahrgangs infolge der beson-
deren Umstände keine systematischen Nachteile erleiden”. Ohnehin waren die protestierenden Schüler·innen nicht so
naiv zu glauben, ihre Sorgen seien lediglich dem Versagen
Die Regierung wollte überoptimistische1 Benotungen, die eines Algorithmus anzulasten. Ihre Sprechgesänge richteten
aus einem ausschließlich menschlichen Urteil erwachsen, sich nicht in einem Anfall technologischen Determinismus‘
vermeiden: Ihrer eigenen Einschätzung zufolge wären die gegen „den Algorithmus“; ihre Motivation war vielmehr das
Abschlüsse, verglichen mit denen der Vergangenheit, zu gut dringende Bedürfnis, soziale Gerechtigkeit zu schützen und
ausgefallen. Doch dieser Versuch, „mit Schüler·innen, die in voranzutreiben. In dieser Hinsicht ähnelt ihr Protest viel
diesem Sommer ihre Prüfungen nicht ablegen konnten, so eher dem der Ludditen. Ebenso wie den Anhänger·innen der
fair wie möglich umzugehen“, scheiterte spektakulär. Und Gewerkschaftsbewegung, die im 19. Jahrhundert mechani-
an diesem grauen Protesttag im August riss der Strom der sierte Webstühle und Strickrahmen zerstörten, ist ihnen
Protestierenden nicht ab, die weiterhin Sprechchöre bilde- klar, dass ADM-Systeme etwas mit Macht zu tun haben und
ten und ihre Plakate hochhielten, um soziale Gerechtigkeit nicht irrtümlicherweise für eine angeblich objektive Tech-
einzufordern. Manche waren außer sich, andere weinten. nologie gehalten werden sollten. Also riefen sie „Gerech-
tigkeit für die Arbeiterklasse“, forderten den Rücktritt des
„Stop stealing our future“, stand auf einem der Plakate, Gesundheitsministers und brandmarkten ADM-Systeme
eine Anleihe bei den Protesten der Klimaaktivist·innen von als „Klassismus in Reinkultur“ und „eklatanten Klassismus“.
Fridays for Future: Hört auf, uns unsere Zukunft wegzuneh- Letztendlich hatten die Schüler·innen Erfolg. Sie erreich-
men. Andere Slogans waren etwas genauer auf die Mängel ten eine Abschaffung des Systems, das ihren weiteren
Bildungsweg und ihre Lebenschancen bedrohte: In einer
1 „Die Forschungsliteratur legt nahe, dass bei der Einschätzung von spektakulären Kehrtwende verwarf die britische Regierung
Noten, die Schüler·innen aller Wahrscheinlichkeit nach erreichen,
Lehrer·innen zu Optimismus neigen (allerdings nicht in allen
Fällen)”, schreibt Ofqual, vgl. https://assets.publishing.service. 2 Für weitere Details vgl. das Kapitel United Kingdom in der
gov.uk/government/uploads/system/uploads/attachment_data/ Gesamtausgabe des Automating Society Reports unter https://
file/909035/6656-2_-_Executive_summary.pdf automatingsociety.algorithmwatch.org/report2020/united-kingdom/
Automating Society Report 2020 5EINLEITUNG
das fehleranfällige ADM-System und wandte die von den unsere Institutionen, unsere Normen und Werte, ja auf die
Lehrer·innen prognostizierte Benotung an. Demokratie insgesamt auswirkt.
Doch hinter dieser Geschichte steckt mehr als nur die Dies gilt insbesondere während der COVID-19-Pandemie, in
Tatsache, dass die Protestierenden am Ende ihr Ziel er- einer Zeit also, in der viele ADM-Systeme (zumeist übereilt)
reichten. Dieses Beispiel verdeutlicht, wie schlecht entwi- eingeführt wurden, die darauf ausgerichtet sind, mit Hilfe
ckelte, implementierte und überwachte ADM-Systeme, die von datenbasierten Tools und Automatisierung zum Schutz
menschliche Voreingenommenheit und Diskriminierung der öffentlichen Gesundheit beizutragen. Wir hielten diese
reproduzieren, dazu führen, dass das ihnen innewohnende Entwicklung für derart bedeutend, dass wir uns entschie-
Potenzial – etwa als Hebel zu dienen, Vergleichbarkeit und den haben, ihr im Rahmen des Projektes „Automating So-
Fairness zu fördern – ungenutzt bleibt. ciety“ eine „Sonderausgabe“ zu widmen, die im September
2020 als „Vorabbericht“ veröffentlicht wurde3.
Stärker als viele Kämpfe der Vergangenheit macht dieser
Protest bewusst, dass wir längst nicht mehr nur dabei sind, Selbst in Europa scheint es beim Einsatz von ADM-Syste-
die Gesellschaft zu automatisieren. Wir haben sie bereits men kein Halten mehr zu geben. Das wird an den in diesem
automatisiert – und endlich hat es jemand bemerkt. Bericht aufgeführten Fällen deutlich, die zu den vielen, über
die wir bereits in der Vorgängerausgabe berichtet haben,
/ Von der Automatisierung der hinzugekommen sind – vom Wohlfahrtssektor über die
Gesellschaft zur automatisierten Bildung und das Gesundheitswesen bis hin zur Justiz. Auf
Gesellschaft den folgenden Seiten geben wir zum ersten Mal ein Update
zu den aktuellen Entwicklungen in diesen Fällen, und zwar
Als wir die erste Auflage dieses Berichts publizierten, ent- auf dreierlei Weise. Erstens in journalistischen Stories;
schieden wir uns, ihn „Automating Society“ zu nennen, zweitens in Abschnitten, in denen verschiedene Beispiele
denn ADM-Systeme waren in Europa größtenteils neu, in katalogisiert werden; und drittens mit Hilfe von Comics.
Testphasen und noch unerforscht. Vor allem aber waren Unserer Auffassung nach sind diese ADM-Systeme in unser
sie eher die Ausnahme als die Norm. aller Leben bereits derart maßgebend – und werden es zu-
nehmend sein – dass wir unbedingt versuchen müssen, alle
Das hat sich dramatisch verändert. Wie die zahlreichen Zielgruppen zu erreichen, und zwar auf eine neue Weise.
Fälle, die von unserem Expertin·innen-Netzwerk in diesem Wir müssen erläutern, wie sie funktionieren und was sie mit
Bericht zusammengetragenen wurden, deutlich zeigen, hat uns machen. Denn letztlich wirken sich ADM-Systeme auf
sich der Einsatz von ADM-Systemen in nur etwas mehr als jeden und jede Einzelne von uns aus.
einem Jahr um ein Vielfaches erhöht. ADM-Systeme wirken
sich mittlerweile nicht nur auf alle möglichen menschlichen Oder sie könnten es zumindest. Wir haben zum Beispiel
Aktivitäten aus, sondern auch, und das ist am bedeutsams- gesehen, wie in Estland ein neuer, automatisierter, proakti-
ten, auf Dienstleistungen für Millionen EU-Bürger·innen – ver Service Familienzuschüsse verteilt. Eltern müssen nicht
und deren Zugang zu ihren Rechten. einmal mehr einen Antrag stellen: Von Geburt an sammelt
der Staat alle Informationen zu jedem einzelnen Neuge-
Während immer mehr ADM-Systeme eingesetzt werden, borenen und dessen Eltern und führt sie in Datenbanken
bleibt die Intransparenz, die sie umgibt, bestehen. Deshalb zusammen. Dies sorgt dafür, dass Eltern automatisch alle
ist es dringender denn je, mehr Informationen ans Licht zu finanziellen Hilfen erhalten, die ihnen rechtlich zustehen.
holen. Wir haben daher die Zahl der Länder, die wir unter-
sucht haben, erhöht: Statt zwölf, wie in der ersten Fassung In Finnland erfolgt mit Hilfe eines vom japanischen Groß-
dieses Berichts, sind es nun 16; Estland, Griechenland, Por- konzern Fujitsu entwickelten Tools eine automatisierte
tugal und die Schweiz sind hinzugekommen. Das ist zwar Identifizierung individueller Risikofaktoren, die mit der
bei Weitem nicht erschöpfend, dennoch erlaubt es uns, ein gesellschaftlichen Stigmatisierung junger Erwachsener
umfassenderes Bild der derzeitigen Situation von ADM- verbunden sind. In Frankreich ist es möglich, Daten aus
Systemen in Europa zu zeichnen. Wir sind überzeugt, dass
diese Arbeit unerlässlich ist. Denn diese Systeme können 3 ‚Automated Decision-Making Systems in the COVID-19 Pandemic:
A European Perspective’,
Auswirkungen nicht nur auf unser Alltagsleben haben. Sie
https://algorithmwatch.org/en/project/automating-society-2020-
werfen auch die Frage auf, wie sich Automatisierung auf covid19/
6 Automating Society Report 2020 EINLEITUNG
sozialen Netzwerken zu sammeln und Algorithmen des Ma- So ist etwa das System VioGén, das in Spanien seit 2007
schinellen Lernens mit ihnen zu füttern, um Steuerbetrug im Einsatz ist, um Risiken in Fällen von häuslicher Gewalt
aufzudecken. abzuschätzen, zwar bei Weitem noch nicht perfekt, zeigt
jedoch „vernünftige Leistungskennzahlen” und hat bereits
Italien experimentiert mit „voraussagender Rechtspre- geholfen, viele Frauen vor Gewalt zu schützen.
chung“. Hierbei kommt Automatisierung zum Einsatz, die
Richter·innen aufzeigt, wie frühere Gerichtsurteile zum je- In Portugal hat ein zentralisiertes automatisiertes System
weiligen Streitgegenstand tendenziell ausgefallen sind. Und zur Aufdeckung von Betrug im Zusammenhang mit Rezept-
in Dänemark versuchte die Regierung, jede Tastatureinga- verschreibungen die Betrugsfälle innerhalb eines einzigen
be und jeden Mausklick zu überwachen, die Student·innen Jahres nachweislich um 80 % reduziert. In Slowenien hat
bei Prüfungen auf ihren Computern vornahmen. Dies löste sich den Aussagen der Steuerbehörden zufolge ein ähnli-
– auch hier – massive Proteste der Studierenden aus, die ches System als nützlich erwiesen, das verwendet wird, um
dazu führten, dass das System vorerst wieder eingestellt Steuerbetrug zu bekämpfen.4
wurde.
Doch die aktuelle Bestandsaufnahme zum Einsatz von
/ Es ist an der Zeit, ADM-Systemen in Europa zeigt, dass positive Beispiele,
Fehlentwicklungen bei ADM- die echte Vorteile bringen, rar gesät sind. Im gesamten
Systemen zu korrigieren Bericht beschreiben wir, wie die überwältigende Mehrheit
der aktuellen Nutzungen Menschen tendenziell eher einem
ADM-Systeme haben prinzipiell das Potenzial, das Leben Risiko aussetzt als ihnen zu helfen. Um aber die tatsächli-
der Menschen positiv zu beeinflussen – indem sie riesige chen positiven und negativen Effekte beurteilen zu können,
Datenmengen verarbeiten, Verantwortliche in Entschei- brauchen wir mehr Transparenz im Hinblick auf die Ziele,
dungsfindungsprozessen unterstützen und maßgeschnei- mehr Daten über die Funktionsweise der ADM-Systeme, die
derte Anwendungen bieten. derzeit getestet und eingesetzt werden.
In der Praxis haben wir allerdings nur wenige überzeugen- Die Botschaft an die politischen Entscheidungsträger·innen
de Beispiele für einen solchen positiven Einfluss gefunden. könnte klarer nicht sein: Wollen wir ihr Potenzial wirklich
ausschöpfen und zugleich dafür sorgen, dass Menschen-
In der Ausgabe
rechte und Demokratie respektiert werden, dann ist es an
der Zeit, diese Systeme transparent zu machen und die
von 2019 noch
Fehlentwicklungen bei ADM zu korrigieren. Jetzt.
kaum erwähnt, / Gesichtserkennung, überall
Gesichtserkennung
wird Gesichts- In verschiedenen Ländern kommen verschiedene Tools
erkennung
zum Einsatz. Eine Technologie ist heute aber beinahe flä-
chendeckend zu finden: Gesichtserkennung. Hierbei han-
inzwischen mit
delt es sich ohne Zweifel um die neueste, rasanteste und
besorgniserregendste Entwicklung, die in diesem Bericht
alarmierender
beleuchtet wird. In der Ausgabe von 2019 noch kaum er-
wähnt, wird Gesichtserkennung inzwischen mit alarmie-
Geschwindigkeit
render Geschwindigkeit in ganz Europa getestet und einge-
setzt. Innerhalb von wenig mehr als einem Jahr seit unse-
in ganz Europa
rem letzten Bericht ist Gesichtserkennung in Schulen und
Stadien, an Flughäfen, ja selbst in Spielcasinos zu finden.
getestet und
eingesetzt.
4 Weitere Details siehe Kapitel Slovenia in der Gesamtausgabe des
Automating Society Reports unter
https://automatingsociety.algorithmwatch.org/report2020/slovenia/
Automating Society Report 2020 7EINLEITUNG
Sie kommt ebenfalls für die vorhersagende Polizeiarbeit die wir für diesen Bericht untersucht haben: Es gibt im Hin-
(Predictive Policing) zum Einsatz, um Kriminelle abzuschre- blick auf ADM-Systeme viel zu wenig Transparenz, sowohl
cken, um gegen Rassismus vorzugehen sowie, im Hinblick im öffentlichen wie auch im privaten Sektor. Polen verfügte
auf die COVID-19-Pandemie, zur Durchsetzung des Social Intransparenz sogar von ganz oben – mit dem Gesetz zur
Distancing, und zwar sowohl in Form von Apps, wie auch Einführung eines automatisierten Systems zum Aufspüren
durch „smarte“ Videoüberwachung. von Bankkonten, die für illegale Aktivitäten genutzt werden
(„STIR“). Es sieht vor, dass mit bis zu 5 Jahren Gefängnis be-
Ständig kommen neue Einsatzgebiete hinzu, obwohl die straft werden kann, wer Algorithmen und Risikoindikatoren
Zahl von Belegen für ihre mangelnde Genauigkeit zunimmt. offenlegt.
Und gibt es Widerstand dagegen, dann versuchen Ver
fechter·innen dieser Systeme ganz einfach, ihn zu umge- Zwar lehnen wir die Vorstellung, dass alle solche Systeme
hen. In Belgien ist ein von der Polizei genutztes Gesichtser- von Natur aus schlecht sind, nachdrücklich ab und nehmen
kennungssystem immer noch „teilweise aktiv“, obwohl die stattdessen eine evidenzbasierte Perspektive ein. Dennoch
Aufsichtsbehörde für Polizeilichen Informationsaustausch ist es ohne Zweifel höchst problematisch, nicht in der Lage
ein befristetes Verbot erlassen hat. Und in Slowenien wur- zu sein, ihre Funktionsweise und Auswirkungen auf der
de die Nutzung von Gesichtserkennungstechnologie durch Grundlage echter Sachkenntnis und korrekter Fakten zu
die Polizei fünf Jahre, nachdem sie erstmals eingesetzt wur- beurteilen. Schon deshalb, weil Intransparenz das Sam-
de, legalisiert. meln von Beweisen, die nötig sind, um überhaupt ein infor-
miertes Urteil zur Nutzung von ADM-Systemen abgeben zu
Stellt man sich diesem Trend nicht entgegen, besteht können, ernsthaft behindert.
die Gefahr, dass die Vorstellung, ununterbrochen – und
verdeckt – beobachtet zu werden, zur Normalität wird, Nimmt man dann noch die Schwierigkeiten hinzu, die
wodurch sich ein neuer Status quo von flächendeckender sowohl unsere Wissenschaftler·innen wie auch unsere
Massenüberwachung verfestigt. Eben aus diesem Grund Journalist·innen hatten, wenn sie Zugang zu aussagekräfti-
hätten sich viele Akteur·innen der Bürgerrechtsbewegung gen Daten über diese Systeme haben wollten, dann zeich-
eine weitaus aggressivere politische Antwort von Seiten der net sich hier für alle ein beunruhigendes Szenario ab, die
EU-Institutionen auf diese Entwicklungen gewünscht.5 solche Systeme kontrollieren und sicherstellen wollen, dass
ihr Einsatz mit grundlegenden Rechten, gesetzlichen Rege-
Im Rahmen eines Pilotprojektes, bei dem derzeit ein ADM- lungen und der Demokratie in Einklang steht.
System in Banken in Polen zum Einsatz kommt, spielt sogar
das Lächeln eine Rolle: Je mehr die Angestellten lächeln, / Den algorithmischen Status quo
desto höher ist ihr Bonus. Und es werden nicht nur Ge- hinterfragen
sichter überwacht. In Italien gab es den Vorschlag, in allen
Fußballstadien ein Geräuschüberwachungssystem zu ins- Was tut die Europäische Union in dieser Frage? Auch wenn
tallieren, um Rassismus zu bekämpfen. die von der EU-Kommission unter der Leitung von Ursu-
la von der Leyen erarbeiteten Dokumente sich eher auf
/ Blackboxes sind immer noch „Künstliche Intelligenz“ beziehen als ADM-Systeme direkt
Blackboxes anzusprechen, enthalten sie lobenswerte Absichten: Eine
„vertrauenswürdigen KI“ soll gefördert und umgesetzt wer-
Zu den alarmierenden Ergebnissen dieses Berichts gehört, den, die „die Menschen in den Vordergrund stellt“6.
dass zwar immer mehr ADM-Systeme eingesetzt werden,
aber die Transparenz nicht Schritt hält. Im Jahr 2015 präg- Allerdings gibt die EU, wie im EU-Kapitel beschrieben, der
te Frank Pasquale, Professor an der Brooklyn Law School, vermeintlichen kommerziellen und geopolitischen Not-
einen berühmt gewordenen Begriff. Er nannte eine Gesell- wendigkeit, die „KI-Revolution“ anzuführen, Vorrang davor,
schaft, die von Netzwerken durchzogen ist, die auf intrans- sicherzustellen, dass die Ergebnisse solcher KI demokrati-
parenten algorithmischen Systemen basieren, eine „Black scher Kontrolle unterliegen.
Box Society“. Fünf Jahre später trifft diese Metapher leider
immer noch zu – und sie gilt ausnahmslos für alle Länder,
6 Vgl. das EU-Kapitel, dort insbesondere den Abschnitt zum „Weißbuch
5 Wie ausführlich im EU-Kapitel dargelegt. KI” der EU-Kommission.
8 Automating Society Report 2020 EINLEITUNG
Zu den alarmierenden Ergebnissen
dieses Berichts gehört, dass
zwar immer mehr ADM-Systeme
eingesetzt werden, aber die
Transparenz nicht Schritt hält.
Dieser Mangel an politischem Mut wird daran am deutlichs- teipositionen zu beeinflussen und damit letztendlich die
ten, dass im Weißbuch zu KI jeder Hinweis auf ein Morato- politische Agenda der Regierung.
rium für Systeme getilgt wurde, die an öffentlichen Orten
Technologien zur Gesichtserkennung in Echtzeit einsetzen. Griechische Aktivist·innen von Homo Digitalis deckten auf,
Er ist überraschend – besonders zu einer Zeit, in der sich dass an Versuchen mit dem griechischen Pilotprojekt eines
viele Mitgliedsstaaten im Zusammenhang mit allzu hastig Systems namens ‚iBorderCtrl’, einem von der EU finanzier-
implementierten ADM-Systemen, die sich negativ auf die ten Projekt zum Einsatz von ADM bei Grenzkontrollen, kein
Rechte von Büger·innen ausgewirkt haben, mit einer zu- einziger echter Reisender teilgenommen hatte und ent-
nehmenden Anzahl gerichtlicher Klagen – und Niederlagen hüllten damit, dass die Fähigkeiten vieler solcher Systeme
– konfrontiert sehen. häufig übertrieben dargestellt werden. In Dänemark wurde
zwischenzeitlich dank der Arbeit von Akademiker·innen
Ein besonders wegweisender Fall stammt aus den Nie- und Journalist·innen sowie der Datenschutzbehörde (DPA)
derlanden. Dort zogen Bürgerrechtsaktivist·innen gegen ein Profiling-System gestoppt, das Risiken erkennen sollte,
ein invasives und intransparentes automatisiertes System die mit vulnerablen Familien und Kindern in Verbindung
zur Aufdeckung von Sozialbetrug (SyRI) vor Gericht und gebracht werden (das sogenannte „Gladsaxe-Modell“).
gewannen. Das Gericht in Den Haag urteilte, dass das Sys-
tem eine Verletzung der Europäischen Menschenrechts- Auch in anderen Ländern spielten die Datenschutzbehör-
konvention darstelle, und stoppte es. Die Sache wurde den selbst eine wichtige Rolle. In Frankreich befand die Na-
auch zu einem Präzedenzfall: Dem Urteil zufolge haben tionale Datenschutzbehörde sowohl ein Projekt zur Geräu-
Regierungen eine „besondere Verantwortung“, Menschen- schüberwachung wie auch eines zur Gesichtserkennung an
rechte zu schützen, wenn sie solche ADM-Systeme imple- Oberschulen für illegal. In Portugal weigerte sich die Daten-
mentieren. Für die so dringend benötigte Transparenz zu schutzbehörde, den Einsatz eines Videoüberwachungssys-
sorgen, wird als essenzieller Bestandteil dieser Verantwor- tems durch die Polizei in den Städten Leiria und Portimão
tung angesehen. zu genehmigen, da sie es für überdimensioniert hielt. Sein
Einsatz hätte nicht nur zu einer „großflächigen und syste-
Seit unserem ersten Bericht haben sich die Medien und die matischen Überwachung und Verfolgung von Menschen,
Aktivist·innen der Zivilgesellschaft als Triebkräfte etabliert, ihren Gewohnheiten und ihres Verhaltens“ geführt, son-
die die Rechenschaftspflicht von ADM-Systemen einfor- dern auch „zur Identifizierung von Menschen anhand von
dern. So ist es zum Beispiel in Schweden Journalist·innen Daten im Zusammenhang mit physischen Merkmalen“. Und
gelungen, die Offenlegung des Codes zu erzwingen, der in den Niederlanden forderte die staatliche Datenschutzbe-
hinter dem Trelleborg-System für vollautomatisierte Ent- hörde mehr Transparenz bei voraussagenden Algorithmen,
scheidungen über Anträge auf Sozialhilfe steht. In Berlin die von Regierungsbehörden genutzten werden.
scheiterte das am Bahnhof Südkreuz durchgeführte Pilot-
projekt zur Gesichtserkennung, und es kam nirgendwo in Einige Länder wandten sich schließlich mit der Bitte um Rat
Deutschland zu einer Implementierung des Systems. Dies an eine Ombudsperson. In Dänemark leistete diese Form
war auf den lautstarken Widerspruch von Aktivist·innen der Beratung einen Beitrag zur Entwicklung von Strategien
zurückzuführen – so lautstark, dass es ihnen gelang, Par- und ethischen Richtlinien beim Einsatz von ADM-Systemen
Automating Society Report 2020 9EINLEITUNG
im öffentlichen Sektor. In Finnland stufte die stellvertreten- soup-Algorithmus in Frankreich zeigt, der von Universitäten
de parlamentarische Ombudsperson automatisierte Steu- genutzt wird, um Studienbewerber·innen zu sortieren, kön-
erschätzungen als illegal ein. nen nach Belieben Ausnahmen erarbeitet werden, um eine
Verwaltung von der Rechenschaftspflicht auszunehmen.
Und dennoch fragt man sich angesichts des ungebremsten
Einsatzes solcher Systeme in ganz Europa nach wie vor Besonders beunruhigend ist dies dann, wenn es mit dem
verwundert: Reicht dieses Maß an Kontrolle aus? Als die verbreiteten Mangel an Fähigkeiten und Kompetenzen
Ombudsperson in Polen die Legalität des in einer Bank ge- rund um ADM-Systeme im öffentlichen Sektor einhergeht,
nutzten (und oben erwähnten) Lächel-Detektors in Zweifel wie er von vielen Fachleuten beklagt wird. Wie sollten
zog, verhinderte diese Entscheidung weder ein späteres Amtsträger·innen auch Auskunft geben oder für Transpa-
Pilotprojekt in der Stadt Sopot, noch hielt es mehrere Un- renz sorgen im Zusammenhang mit Systemen, die sie nicht
ternehmen davon ab, ihr Interesse an einer Übernahme verstehen?
des Systems zu bekunden.
Einige Länder haben jüngst versucht, dieses Problem anzu-
/ Es fehlt an allem: Kontrolle, gehen. So wurde in Estland ein speziell auf ADM-Systeme
Durchsetzung, Kompetenzen und ausgerichtetes Kompetenzzentrum gegründet. Dieses soll
Erläuterungen helfen, ein besseres Verständnis dafür zu entwickeln, wie
solche Systeme bei der Weiterentwicklung öffentlicher
Aktivismus ist ein größtenteils reaktives Unterfangen. Dienstleistungen zum Einsatz kommen können, und spe-
Aktivist·innen können meist nur dann reagieren, wenn ziell dem Ministerium für Wirtschaft und Kommunikation
ADM-Systeme in der Erprobung sind oder bereits zum sowie der Staatskanzlei Informationen und Grundlagen für
Einsatz kommen. In dem Zeitraum, den Bürger·innen ihr weiteres Vorgehen bei der Entwicklung von e-Govern-
brauchen, um Widerstand zu organisieren, könnten ihre ment liefern. Ebenso hat die Schweiz im Rahmen ihrer breit
Rechte bereits unnötigerweise verletzt worden sein. Und angelegten nationalen Strategie für eine „Digitale Schweiz“
dies kann trotz der Schutzmechanismen geschehen, die ein „Kompetenznetzwerk“ gefordert.
in den meisten Fällen durch EU-Gesetze oder Gesetze der
Mitgliedsstaaten garantiert sein sollten. Aus diesem Grund Ungeachtet dessen sind mangelhafte digitale Kompeten-
sind proaktive Maßnahmen zum Schutz von Bürgerrechten zen ein bekanntes Problem – mit Auswirkungen auf einen
so überaus wichtig – bevor Pilotprojekte gestartet und Sys- Großteil der Bevölkerung etlicher europäischer Staaten.
teme eingesetzt werden. Abgesehen davon ist es ziemlich schwer, die Durchsetzung
von Rechten einzufordern, von denen man nicht einmal
Dennoch werden selbst in jenen Ländern, in denen Schutz- weiß, dass man sie hat. Die Proteste im Vereinigten König-
gesetze existieren, diese schlicht nicht durchgesetzt. So reich und anderswo sowie die bekannten Skandale im Zu-
ist etwa in Spanien „automatisiertes Verwaltungshandeln“ sammenhang mit der Nutzung von ADM-Systemen7 haben
gesetzlich geregelt, und es gelten besondere Anforderun- mit Sicherheit das Bewusstsein für die Risiken und Chancen
gen im Hinblick auf Qualitätskontrolle und behördliche einer zunehmend automatisierten Gesellschaft erhöht.
Aufsicht. Festgeschrieben ist ebenfalls eine Auditierung des Allerdings ist dieses Bewusstsein, obgleich es zunimmt, in
Informationssystems und seines Quellcodes. Zudem hat vielen Ländern nach wie vor unterentwickelt.
Spanien ein Gesetz zur Informationsfreiheit. Ungeachtet
dessen geben öffentliche Einrichtungen, so schreibt unser Die Ergebnisse unserer Recherchen sind eindeutig: ADM-
Autor, nur selten detaillierte Informationen zu den von ih- Systeme nehmen bereits Einfluss auf alle möglichen Aktivi-
nen genutzten ADM-Systemen frei. Ähnliches gilt für Frank- täten und Beurteilungen, doch ihr Einsatz erfolgt nach wie
reich. Dort gibt es seit 2016 ein Gesetz, das algorithmische vor größtenteils ohne jede vernünftige demokratische De-
Transparenz verpflichtend macht, doch auch hier ohne jede batte. Darüber hinaus ist es eher die Regel als die Ausnah-
Wirkung. me, dass die Durchsetzungs- und Aufsichtsmechanismen
Unter Umständen reicht noch nicht einmal die gerichtliche
Klage gegen einen Algorithmus auf der Grundlage speziel-
7 Vgl. das Kapitel zu France in der Gesamtausgabe des Automating
ler Transparenzreglungen aus, um Rechte von Nutzer·innen Society Reports unter
durchzusetzen und zu schützen. Wie der Fall des Parcour- https://automatingsociety.algorithmwatch.org/report2020/france/
10 Automating Society Report 2020 EINLEITUNG
– so sie denn überhaupt existieren – dieser Entwicklung Politik nach wie vor breite Anwendung, um die unkritische
hinterherhinken. Übernahme automatisierter Technologien ins öffentliche
Leben zu rechtfertigen.
Selbst der Zweck dieser Systeme wird den betroffenen
Bürger·innen gegenüber nicht generell gerechtfertigt Werden sie als „Lösung“ verkauft, steuern ADM-Systeme
oder erläutert, ganz zu schweigen von den Vorteilen, unverzüglich in das Territorium hinein, das in Arthur C.
die sie bringen sollen. Man denke nur an den proaktiven Clarkes Drittem Gesetz beschrieben wird: Magie. Magie zu
Service „AuroraAI“ in Finnland: Dieser soll, wie unsere regulieren, ist schwierig, wenn nicht gar unmöglich. Und
finnischen Autor·innen berichten, automatisch „Lebens- diesbezüglich für Transparenz zu sorgen und Erläuterun-
ereignisse“ identifizieren; nach den Vorstellungen seiner gen zu geben, noch weitaus schwieriger. Man sieht zu, wie
Befürworter·innen ist er dazu gedacht, als eine Art „Kinder- die Hand in den Hut fasst und ein Kaninchen hervorzieht,
mädchen“ zu fungieren, das Bürger·innen hilft, spezielle An- doch der Vorgang selbst ist eine „Blackbox“ und soll es auch
forderungen staatlicher Dienstleister im Zusammenhang bleiben.
mit bestimmten Lebensumständen zu erfüllen, wie etwa
einem Umzug, veränderten Familienverhältnissen usw. Diesen Umstand prangerten zahlreiche am Projekt „Au-
Es könne hier „Nudging“ am Werk sein, schreiben unsere tomating Society“ beteiligte Wissenschaftler·innen als
Autor·innen weiter. Damit meinen sie, dass das System, fundamentalsten Mangel in den Argumentationen an, die
anstatt Individuen zu ermächtigen, am Ende zum genauen hinter vielen der von ihnen beschriebenen ADM-Systeme
Gegenteil führen könnte, dass es nämlich aufgrund seines stehen. Wie im Kapitel über Deutschland dargelegt, impli-
speziellen Designs und seiner Architektur bestimmte Ent- ziert dies auch, dass ein Großteil der an solchen Systemen
scheidungen suggerieren oder die Optionen einer Person geäußerten Kritik als pauschale Ablehnung von „Innovati-
beschränken könnte. onen“ verleumdet und Befürworter·innen digitaler Rechte
als „Neo-Ludditen“ (Neue Maschinenstürmer·innen) dar-
Und deshalb ist es umso wichtiger zu wissen, was genau gestellt werden. Damit werden nicht nur die historischen
im Hinblick auf staatliche Dienstleistungen eigentlich „op- Realitäten der Maschinenstürmerbewegung ignoriert, die
timiert“ werden soll: „Wird die Servicenutzung maximiert, sich auf Arbeitsmarktpolitik bezog und nicht auf Technolo-
werden Kosten minimiert, oder wird das Wohlergehen der gien per se. Nein, es gefährdet auch – und dies ist vielleicht
Bürger·innen verbessert?”, so die Frage der Forscher·innen. noch wichtiger – die Effektivität möglicher Aufsichts- und
„Auf welchen Kriterien basieren diese Entscheidungen, und Durchsetzungsmechanismen.
wer trifft sie?“ Die bloße Tatsache, dass wir auf diese funda-
mentalen Fragen keine Antwort haben, spricht Bände über Zu einer Zeit, da die „KI“-Branche das Entstehen einer
den Grad an erlaubter Beteiligung und Transparenz, selbst „lebhaften“ Lobby-Industrie erlebt, insbesondere im Verei-
für ein potenziell invasives ADM-System wie dieses. nigten Königreich, könnte dies dazu führen, dass Leitlinien
für „ethics-washing“ und anderen politischen Reaktionen
/ Die Falle des „technologischen verabschiedet werden, die ebenso ineffektiv wie struktu-
Solutionismus“ rell inadäquat sind, um die Folgen von ADM-Systemen für
die Menschenrechte zu bewältigen. Diese Sichtweise gip-
Für all dies gibt es eine übergreifende ideologische Recht- felt letztlich in der Prämisse, dass nicht ADM-Systeme an
fertigung. Sie wird „Technologischer Solutionismus“ ge- demokratische Gesellschaften angepasst werden sollten,
nannt und beeinflusst nach wie vor sehr stark die Art und sondern vielmehr wir Menschen uns den ADM-Systemen
Weise, wie viele der von uns untersuchten ADM-Systeme anpassen sollten.
entwickelt werden. Auch wenn der Begriff schon lange
angeprangert wird, weil er eine fehlerhafte Ideologie be- Um diesem Narrativ entgegenzutreten, sollten wir uns nicht
zeichnet, die jedes gesellschaftliche Problem als „Fehler“ scheuen, einige grundsätzliche Fragen zu stellen: nämlich,
begreift, der mit Hilfe von Technologie „repariert“ werden ob ADM-Systeme demokratiekompatibel sein und zum
muss8, findet diese Rhetorik in den Medien und Kreisen der Wohl der Gesellschaft als Ganzes zum Einsatz kommen
können, anstatt nur in Teilbereichen. So könnte es zum Bei-
8 Man denke an das Debakel um den „Buona Scuola”-Algorithmus in spiel sein, dass bestimmte menschliche Aktivitäten – etwa
Italien; vgl. das Kapitel Italy in der Gesamtausgabe des Automating
Society Reports unter https://automatingsociety.algorithmwatch.org/ jene, die die Sozialfürsorge betreffen – nicht der Automati-
report2020/italy/ sierung unterworfen werden sollten, oder dass bestimmte
Automating Society Report 2020 11EINLEITUNG
Technologien – namentlich Gesichtserkennung in Echtzeit
/ Öffentliche Register für ADM-Systeme
an öffentlichen Plätzen – nicht beim endlosen Streben nach
einführen, die von der öffentlichen Hand
„KI-Leadership“ gefördert, sondern stattdessen verboten
genutzt werden
werden sollten.
Mitgliedsstaaten sollten durch EU-weite Regelungen ver-
Noch wichtiger ist , dass wir jedes ideologische Framing, das pflichtet werden, öffentliche Register für ADM-Systeme
uns hindert, solche Fragen zu stellen, ablehnen sollten. Im einzurichten, die im öffentlichen Sektor genutzt werden.
Gegenteil: Was es jetzt braucht, ist ein echter Politikwandel,
um für eine strengere Überprüfung dieser Systeme zu sor- Damit verbunden sein muss die gesetzliche Verpflichtung,
gen. Im folgenden Abschnitt listen wir die Kernforderungen dass die für ein ADM-System verantwortlichen Stellen bzw.
auf, die sich aus unseren Rechercheergebnissen ableiten. Personen den Zweck des Systems offenlegen und doku-
Wir hoffen, dass sie breit diskutiert und am Ende umgesetzt mentieren, ergänzt um eine Erläuterung des Modells (ein-
werden. schließlich seiner Logik) sowie Informationen darüber, wer
das System entwickelt hat. Diese Informationen müssen
Nur durch eine informierte, inklusive und evidenzbasierte auf einfach zu verstehende und leicht zugängliche Weise
demokratischen Debatte wird es uns gelingen, die rich- verfügbar gemacht werden, einschließlich strukturierter
tige Balance zu finden zwischen den Vorteilen, die ADM- digitaler Daten, die auf einem standardisierten Protokoll
Systeme im Hinblick auf Schnelligkeit, Effizienz, Fairness, basieren.
bessere Prävention und besseren Zugang zu staatlichen
Dienstleistungen bieten können – und dies auch tun – und Staatliche Behörden haben eine besondere Verantwortung,
den Gefahren, die sie für die Rechte von uns allen darstel- die Betriebseigenschaften von ADM-Systemen, die in der
len. öffentlichen Verwaltung zum Einsatz kommen, transparent
zu machen. Unterstrichen wird dies von der Entscheidung
zu einer kürzlich eingereichten Verwaltungsbeschwerde in
Handlungs Spanien. Dort heißt es, dass „jedes von der staatlichen Ver-
waltung genutzte ADM-System standardmäßig öffentlich
empfehlungen gemacht werden sollte“. Hat dieses Urteil Bestand, könnte
es zu einem Präzedenzfall für ganz Europa werden.
Basierend auf den Forschungsergebnissen unseres Be- Für ADM-Systeme, die im öffentlichen Sektor zum Einsatz
richts „Automating Society 2020“, empfehlen wir den kommen, sollten Offenlegungsmechanismen in allen Fäl-
Entscheidungsträger·innen im EU-Parlament und den Par- len verpflichtend sein. Für den Einsatz von ADM-Systemen
lamenten der Mitgliedsstaaten, der EU-Kommission, den durch private Unternehmen sollten sie gelten, sofern ein
Nationalregierungen, Wissenschaftler·innen, Organisatio- KI-/ADM-System signifikante Auswirkungen auf eine Einzel-
nen der Zivilgesellschaft (Interessenvertretungen, Stiftun- person, eine bestimmte Gruppe oder die Gesellschaft als
gen, Gewerkschaften usw.) sowie dem privatwirtschaftli- Ganzes hat.
chen Sektor (Unternehmen und Branchenverbänden) die
folgenden Maßnahmen. Diese Empfehlungen sollen helfen,
/ Rechtlich verbindliche Rahmenbedin-
sicherzustellen, dass ADM-Systeme, die derzeit in ganz
gungen für den Zugang zu Daten einfüh-
Europa im Einsatz sind oder eingeführt werden sollen, tat-
ren, um Forschung im öffentlichen Inter-
sächlich mit Menschenrechten und Demokratie vereinbar
esse zu unterstützen und zu ermöglichen
sind:
Verstärkte Transparenz erfordert neben der Offenlegung von
1. Transparenz von ADM- Informationen über Zweck, Logik und Entwickler·in eines Sys-
Systemen erhöhen tems auch die Möglichkeit, dessen Inputs und Outputs einer
tiefgreifenden Analyse und Prüfung zu unterziehen. Darüber
Ohne die Möglichkeit, genau zu wissen, wie, warum und zu hinaus müssen die Trainingsdaten und Datenergebnisse
welchem Zweck ADM-Systeme zum Einsatz kommen, sind unabhängigen Wissenschaftler·innen, Journalist·innen und
alle anderen Anstrengungen, solche Systeme mit Grund- Aktivist·innen der Zivilgesellschaft für Forschung und Recher-
rechten in Einklang zu bringen, zum Scheitern verurteilt. che im öffentlichen Interesse zugänglich gemacht werden.
12 Automating Society Report 2020 EINLEITUNG
Aus diesem Grund empfehlen wir die Einführung robus- Der Begriff „Auditing“ ist weit verbreitet, doch gibt es keine
ter, rechtlich verbindlicher Rahmenbedingungen für den allgemeinverbindliche Definition. Wir verstehen Auditing in
Zugang zu Daten, die explizit darauf ausgerichtet sind, diesem Kontext gemäß der ISO-Definition als einen „sys-
Forschung im öffentlichen Interesse zu ermöglichen und tematischen, unabhängigen und dokumentierten Prozess,
zu unterstützen, und die die Regelungen zum Datenschutz um objektive Nachweise zu erlangen und diese objektiv
sowie die Gesetze zum Schutz der Privatsphäre respektie- zu bewerten um festzustellen, inwiefern die Prüfkriterien
ren. erfüllt sind“.9
In Anlehnung an bestehende Best Practices auf nationaler Wir haben bisher noch keine zufriedenstellenden Antwor-
und EU-Ebene sollten solche abgestuften Rahmenwerke ten auf die komplexen Fragen10, die von der Auditierung
sowohl Sanktionssysteme wie auch Kontrollmechanismen algorithmischer Systeme aufgeworfen werden. Allerdings
und regelmäßige Überprüfungen einschließen. Wie priva- deuten unsere Ergebnisse klar darauf hin, dass diese Ant-
te Datensharing-Partnerschaften gezeigt haben, bestehen worten gefunden werden müssen, und zwar im Rahmen ei-
berechtigte Bedenken im Hinblick auf die Privatsphäre ner breiten Debatte, an der alle Interessengruppen beteiligt
der Nutzer·innen und die mögliche Deanonymisierung be- sind, sowie durch gründliche, engagierte Forschung.
stimmter Arten von Daten.
Es sollten sowohl Auditkriterien, als auch angemessene
Politische Entscheidungsträger·innen sollten sich Regelun- Auditprozesse entwickelt werden. Dabei ist ein Ansatz zu
gen für die gemeinsame Nutzung von Gesundheitsdaten verfolgen, der nicht nur möglichst viele Beteiligte und Be-
zum Vorbild nehmen, um den privilegierten Zugang zu troffene einbezieht, sondern auch die unverhältnismäßigen
bestimmten Arten granularer Daten zu ermöglichen und Auswirkungen von ADM-Systemen auf vulnerable Gruppen
gleichzeitig sicherzustellen, dass persönliche Daten aus- berücksichtigt und deren Mitsprache sichert.
reichend geschützt sind (z. B. durch sichere Betriebsumge-
bungen). Aus diesem Grund fordern wir die politischen Ent schei
dungsträger·innen auf, solche Stakeholder-Prozesse zu
Rechenschaftspflichten durchzusetzen ist nur möglich, initiieren, um die angesprochenen Fragen zu klären, sowie
wenn es einen Zugang zu Daten der Plattformen gibt. Das Finanzierungsquellen zur Verfügung zu stellen, die die Teil-
ist zugleich eine Voraussetzung für die effektive Umsetzung
zahlreicher Ansätze zur Überprüfung von Systemen.
9 https://www.iso.org/obp/ui/#iso:std:iso:19011:ed-3:v1:en
2. Einen eindeutigen Rahmen
für die Rechenschaftspflicht
von ADM-Systeme schaffen
10 Beim Nachdenken über mögliche Modelle für algorithmisches Auditing
tauchen diverse Fragen auf. 1) Wer/Was (Dienstleistungen/Plattformen/
Produkte) soll auditiert werden? Wie können Auditing-Systeme auf die
betreffende Art von Plattform/Dienstleistung zugeschnitten werden?
2) Wann sollte das Auditing von einer öffentlichen Stelle vorgenommen
werden (auf EU-Ebene, nationaler Ebene, lokaler Ebene), und wann
Wie Forschungsergebnisse aus Spanien und Frankreich kann es von privaten Stellen/Expert·innen übernommen werden
gezeigt haben, führen gesetzlich verankerte Transparen- (Unternehmen, Zivilgesellschaft, Wissenschaftler·innen)? 3) Wie stellt
man die Unterscheidung zwischen der Beurteilung von Auswirkungen
zerfordernisse und/oder die Offenlegung von Informatio- ex-ante (d. h. in der Designphase/Entwicklungsphase) und ex-post (d. h.
nen nicht automatisch zu verantwortungsvollem Handeln. im Betrieb) sowie im Hinblick auf die betreffenden Herausforderungen
klar? 4) Wie können Kompromisse bei den verschiedenen Vor- und
Weitere Schritte sind notwendig, um sicherzustellen, dass Nachteilen der Überprüfbarkeit bewertet werden? (So könnten etwa
Gesetze und Vorschriften auch tatsächlich durchgesetzt Simplizität, Allgemeingültigkeit, Anwendbarkeit, Präzision, Flexibilität,
Interpretierbarkeit, Datenschutz und Leistungsfähigkeit eines
werden können. Auditing-Prozesses in einem Spannungsverhältnis stehen). 5) Welche
Informationen müssen verfügbar sein, damit ein Audit effektiv und
verlässlich ist (z. B. Quellcode, Trainingsdaten, Dokumentation)?
/ Ansätze für die effektive Auditierung Brauchen Prüfende physischen Zugang zu den Systemen, während sie
in Betrieb sind, um einen effektiven Audit durchzuführen? 6) Welche
algorithmischer System entwickeln und Nachweispflichten für Händler·innen/Service-Anbieter·innen sind
etablieren nötig und angemessen? 7) Wie können wir sicherstellen, dass das
Auditing überhaupt möglich ist? Sollten Auditanforderungen bereits
bei der Entwicklung algorithmischer Systeme Berücksichtigung finden
Um für echte Transparenz zu sorgen, muss der erste Schritt („prüffähiges Design”)? 8) Vorschriften für die Publikation der Ergebnisse:
(die Einrichtung öffentlicher Register), um Prozesse ergänzt Fällt ein Audit negativ aus, und die Probleme sind nicht behoben: Wie
sollten sich Prüfende verhalten; auf welche Weise kann publik gemacht
werden, die eine effektive Auditierung algorithmischer Sys- werden, dass ein Versagen vorliegt? 9) Wer prüft die Prüfenden? Wie
teme garantieren. stellt man die Rechenschaftspflicht der Prüfenden sicher?
Automating Society Report 2020 13EINLEITUNG
nahme bisher nicht angemessen repräsentierter Interes- rechte dar, denn sie ebnen den Weg zu undifferenzierter
sengruppen sichern. Massenüberwachung – insbesondere angesichts der Tat-
sache, dass sie trotzdem weiter verbreitet werden und auf
Weiterhin fordern wir die Bereitstellung ausreichender intransparente Art und Weise zum Einsatz kommen.
Mittel zur Unterstützung/Finanzierung von Forschungspro-
jekten, die sich mit der Entwicklung von Modellen zur effek- Wir fordern, dass alle öffentlichen Nutzungen von Gesichts-
tiven Auditierung algorithmischer Systeme beschäftigen. erkennung, die sich zu Massenüberwachung auswachsen
könnten, auf EU-Ebene bis auf Weiteres verboten werden,
und zwar so schnell wie möglich.
/ Zivilgesellschaftliche Organisationen
Solche Technologien könnten innerhalb der EU sogar jetzt
als Watchdogs von ADM-Systemen
schon als illegal gelten, zumindest für bestimmte Anwen-
unterstützen
dungen, wenn ihr Einsatz ohne „ausdrückliche Zustim-
Unsere Erkenntnisse zeigen deutlich, dass für eine effektive mung“ der gescannten Personen erfolgt. Diese juristische
kritische Hinterfragung undurchsichtiger ADM-Systeme die Auslegung wurde von den staatlichen Behörden in Belgien
Arbeit zivilgesellschaftlicher Organisationen unabdingbar ist. vorgeschlagen, die den Einsatz von Gesichtserkennung
Mittels Forschung und Interessenvertretung, häufig auch in in ihrem Land in einem bahnbrechenden Urteil mit einer
Kooperation mit Journalist·innen und dem akademischen Strafzahlung belegten.
Bereich, haben sie sich in den letzten Jahren wiederholt in
3. Algorithmische Kompetenzen
politische Debatten um diese Systeme eingemischt. Dabei ist
es ihnen in einigen Fällen gelungen, effektiv sicherzustellen, verbessern und die
dass öffentliche Interessen und Grundrechte sowohl vor als öffentliche Debatte um ADM-
auch nach der Implementierung solcher Systeme in vielen Systeme stärken
europäischen Ländern angemessen berücksichtigt werden.
Mehr Transparenz von ADM-Systemen ist nur dann von
Zivilgesellschaftliche Akteur·innen sollten daher als Watch- echtem Nutzen, wenn diejenigen, die mit ihnen konfron-
dogs der zunehmend automatisierten Gesellschaft unter- tiert werden, wie etwa Aufsichtsbehörden, Regierungen
stützt werden. Als solche gehören sie zu den integralen und Standardisierungsgremien, in der Lage sind, auf ver-
Bestandteilen jedes effektiven Rahmenwerks für die Re- antwortungsvolle und umsichtige Art und Weise mit diesen
chenschaftspflicht von ADM-Systemen. Systemen und ihren Auswirkungen umzugehen. Darüber
hinaus müssen jene, die von diesen Systemen betroffen
sind, verstehen können, wo, warum und wie diese Syste-
me zum Einsatz kommen. Aus diesem Grund müssen wir
/ Gesichtserkennung verbieten, die den
die Stärkung algorithmischer Kompetenz auf allen Ebenen
Weg für Massenüberwachung ebnet
vorantreiben, bei wichtigen Akteur·innen ebenso wie in der
Nicht alle ADM-Systeme sind gleichermaßen gefährlich, breiten Öffentlichkeit, und vielfältigere öffentliche Debat-
und ein risikobasierter Regulierungsansatz, wie etwa in ten über ADM-Systeme und deren Auswirkungen auf die
Deutschland und der EU, spiegelt diese Tatsache korrekt Gesellschaft fördern.
wider. Um jedoch eine praktikable Rechenschaftspflicht für
Systeme zu gewährleisten, die als risikobehaftet eingestuft
werden, müssen effektive Aufsichts- und Durchsetzungs-
/ Unabhängige Kompetenzzentren für
mechanismen geschaffen werden. Dies ist umso wichtiger
ADM einrichten
für solche Systeme, denen ein „hohes Risiko“ zur Verletzung
von Nutzer·innenrechten bescheinigt wird. Parallel zu unserer Forderung, das Auditing von Algorith-
men und entsprechende Forschung zu unterstützen, plädie-
Ein vordringliches Beispiel, das sich aus unseren Erkennt- ren wir dafür, unabhängige Kompetenzzentren für ADM auf
nissen ergeben hat, ist die Gesichtserkennung. Wie sich nationaler Ebene einzurichten. Diese Zentren sollen dazu
gezeigt hat, stellen ADM-Systeme, die auf biometrischen dienen, Algorithmen zu kontrollieren und zu bewerten,
Technologien beruhen, darunter Gesichtserkennung, eine Forschung zu betreiben und Berichte zu erstellen. In Ko-
ernsthafte Bedrohung für das Gemeinwohl und die Grund- ordination mit Regulierungsbehörden, der Zivilgesellschaft
14 Automating Society Report 2020 EINLEITUNG
und der Wissenschaft sollten sie Regierung wie Industrie zu wenn sie im Einsatz sind, sondern dass selbst die Entschei-
den Auswirkungen des Einsatzes von ADM-Systemen auf dung, ob ein ADM-System überhaupt zum Einsatz kommen
die Gesellschaft und Menschenrechte beraten. Die über- soll oder nicht, für gewöhnlich ohne Wissen oder Beteili-
greifende Rolle dieser Zentren besteht darin, ein sinnvolles gung der Öffentlichkeit getroffen wird.
System der Rechenschaftspflicht zu entwickeln sowie die
entsprechenden Kapazitäten zu schaffen. Es besteht daher die dringende Notwendigkeit, von Anfang
an die Öffentlichkeit (das öffentliche Interesse) einzubezie-
Um Vertrauen, Transparenz und Kooperation zwischen hen, wenn darüber entschieden wird, ADM-Systeme einzu-
allen Beteiligten aufzubauen, sollten die nationalen setzen.
Kompetenzzentren zivilgesellschaftliche Organisationen,
Interessengruppen sowie bereits bestehende Durchset- Oder, um es etwas allgemeiner auszudrücken: Wir brau-
zungsstellen wie etwa Datenschutzbehörden und nationale chen eine vielfältigere öffentliche Debatte zu den Auswir-
Menschenrechtsgremien einbeziehen. kungen von ADM. Wir müssen aufhören, ausschließlich
Expert·innengruppen anzusprechen; wir müssen dafür sor-
Als unabhängige Körperschaften des öffentlichen Rechts gen, dass die breitere Öffentlichkeit einen besseren Zugang
käme den Kompetenzzentren eine zentrale Rolle zu: Sie zu diesen Themen bekommt. Dies bedeutet, eine andere
würden die Entwicklung politischer Konzepte und natio- Sprache zu sprechen als einen technisch-juristischen Slang,
naler Strategien im Umgang mit ADM koordinieren sowie um öffentliche Aufmerksamkeit zu erzeugen und Interesse
Kompetenzen und Fähigkeiten bei bereits existierenden zu wecken.
Regulierungsbehörden sowie Regierungen und Standardi-
sierungsgremien aufbauen, um auf die zunehmende Nut- Zu diesem Zweck sollten in Ergänzung zu den bereits ge-
zung von ADM-Systemen zu reagieren. nannten Maßnahmen detaillierte Programme zum Aufbau
und zur Förderung digitaler Selbstbestimmung etabliert
Diese Zentren sollten keine Regulierungsbefugnisse ha- werden. Wenn unser Ziel darin besteht, eine verstärk-
ben, sondern unverzichtbare Expertise einbringen, die die te, informierte öffentliche Debatte zu führen und den
Frage beantworten helfen, wie Grundrechte geschützt und Bürger·innen der EU Selbstbestimmung zu ermöglichen,
kollektiver und gesellschaftlicher Schaden abgewendet dann müssen wir damit beginnen, Kenntnisse zur Digi-
werden können. So sollten sie etwa kleine und mittlere Un- talisierung zu vermitteln und voranzutreiben und dabei
ternehmen (KMU) bei der Erfüllung ihrer Sorgfaltspflichten besonderes Augenmerk auf die sozialen, ethischen und po-
im Hinblick auf Menschenrechtsfragen unterstützen, ein- litischen Konsequenzen des Einsatzes von ADM-Systemen
schließlich der Durchführung von Folgenabschätzungen für legen.
Menschenrechte (Human Rights Impact Assessments) oder
Folgenabschätzungen zum Einsatz von Algorithmen (Algo-
rithmic Impact Assessments), sowie bei der Registrierung
von ADM-Systemen in dem oben dargestellten öffentlichen
Register.
/ Eine inklusive und vielfältige
demokratische Debatte rund um ADM-
Systeme fördern
Es müssen nicht nur Kenntnisse und Kompetenzen bei
denjenigen gestärkt werden, die ADM-Systeme zum Einsatz
bringen. Ebenso unerlässlich ist es, mit Hilfe einer breiteren
Debatte und vielfältiger Programme die algorithmischen
Kompetenzen der Allgemeinheit zu fördern.
Unsere Erkenntnisse legen nahe, dass ADM-Systeme der
breiteren Öffentlichkeit nicht nur intransparent bleiben,
Automating Society Report 2020 15Europäische Union: Weichen- stellung für die Zukunft von ADM in Europa Systeme zum automatisierten Entscheiden nehmen bei der Verteilung von Rechten und Dienstleistungen in Europa eine zentrale Rolle ein, und immer mehr Institutionen auf dem Kontinent erkennen deren Bedeutung für das öffentliche Leben an – sowohl die Chancen als auch die Herausforderungen. Von Kristina Penner und Fabio Chiusi 16 Automating Society Report 2020
Sie können auch lesen
