POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT - Gutachten
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT Gutachten AUTOR Prof. Dr. Georg Borges, Universität des Saarlandes
INHALT
Kapitel A
DAS VERHÄLTNIS VON KÜNSTLICHER INTELLIGENZ UND DATENSCHUTZ
I. Potenziale und Herausforderungen durch Künstliche Intelligenz
aus Sicht des Datenschutzrechts 5
II. Datenschutz als Antipode oder Partner von Künstlicher Intelligenz? 6
III. Gegenstand und Gang der Untersuchung 7
Kapitel B
DATENSCHUTZRECHT ALS SCHUTZ VOR RISIKEN FÜR RECHTE UND FREIHEITEN
NATÜRLICHER PERSONEN DURCH KÜNSTLICHE INTELLIGENZ
I. Risiken für Rechte und Freiheiten natürlicher Personen
durch Künstliche Intelligenz 9
1. KI-Systeme als Gegenstand der rechtlichen Regelung 9
2. Erzeugung und Aggregation von Information durch KI-Systeme 10
3. Algorithmische Entscheidungen über Personen 10
4. Wissensüberlegenheit und Beeinflussung durch KI-System 11
II. Aspekte des Verhältnisses von Datenschutz und Künstlicher Intelligenz 11
1. Zielsetzung und Schutzinstrumente des Datenschutzrechts 11
2. Spezifische datenschutzrechtliche Schutzinstrumente für KI-Systeme? 11
III. Informationsgewinnung durch KI-Systeme 12
1. Einführung. Bildauswertung als Beispiel für Informationsgewinnung
durch KI-Systeme 12
2. Probleme des Anwendungsbereichs des Datenschutzrechts am
Beispiel von Bildnisse 14
3. Rechtfertigung der Datenverarbeitung durch KI-Systeme 16
4. Fazit 17
Kapitel C
BESCHRÄNKUNG VON FORSCHUNG UND ANWENDUNG KÜNSTLICHER
INTELLIGENZ DURCH DATENSCHUTZ
I. Datenschutz als Hindernis für Künstliche Intelligenz? 19
II. Einschränkungen der Forschung und Entwicklungen von KI-Systemen
durch Datenschutz 20
III. Verbote und Einschränkungen der Nutzung von KI durch Datenschutz 21
IV. Datenschutz als Unterstützung für KI 21Kapitel D
MÖGLICHKEITEN UND GRENZEN DES VERZICHTS AUF PERSONENBEZOGENE
DATEN BEIM MASCHINELLEN LERNEN
I. Anonymisierung 23
II. Synthetische Daten 24
III. Fazit 25
Kapitel E
FEHLERHAFTE ENTSCHEIDUNGEN DURCH KÜNSTLICHE INTELLIGENZ
I. Gegenstand und Gliederung der Untersuchung 26
II. Fehler in algorithmischen Entscheidungen 26
1. Terminologie 26
2. Bewertung ex ante und ex post 27
3. Arten von Fehlern 28
III. Entscheidungen über Menschen durch Maschinen?
Die Bedeutung des Art. 22 DSGVO für algorithmische Entscheidungen 29
1. Das Verbot der ausschließlich automatisierten Entscheidung,
Art. 22 DSGVO 29
2. Die ausschließlich automatisierte Entscheidung 30
3. Rechtswirkung zulasten oder Benachteiligung des Betroffenen 31
4. Verbot nachteiliger Entscheidungen aufgrund einer Bewertung des Betroffenen
32
5. Ausnahmen vom Verbot der automatisierten Entscheidung 33
6. Die Bedeutung des Art. 22 DSGVO für algorithmische Entscheidungen 33
IV. Verwendung fehlerhafter Daten in algorithmischen Entscheidungen 35
1. Fallgruppen 35
2. Berichtigung und Löschung fehlerhafter Tatsachengrundlagen 35
3. Fehlerhafte Tatsachengrundlage und Rechtmäßigkeit einer Entscheidung 37
4. Auskunft über die tatsächliche Entscheidungsgrundlage 37
V. Diskriminierung in algorithmischen Entscheidungen 38
1. Sorge vor Diskriminierung durch KI-Systeme 38
2. Der Begriff der Diskriminierung 38
3. Diskriminierung durch KI-Systeme 39
4. Datenschutz und Diskriminierungsschutz 39
5. Fazit 40
VI. Bias in the data – Fehler in der Datengrundlage lernender Systeme 41
1. Die Bedeutung der Datengrundlage für das maschinelle Lernen 41
2. Die rechtliche Einordnung eines bias in the data 41
3. Bias in the data im Datenschutzrecht 43Kapitel F
HERAUSFORDERUNGEN DER INDIVIDUELLEN KOMMUNIKATION DURCH KI-
SYSTEME
I. Individuelle Kommunikation durch KI-gestützte Verwendung
von Echtzeitdaten 44
1. Erscheinungsformen und Rechtsfragen personalisierter Werbung 44
2. Erscheinungsformen und Rechtsfragen individueller Preise 46
II. Spezifika der individuellen Kommunikation durch KI-Systeme 46
1. Die automatisierte Einschätzung einer Person als Kernelement der individuellen
Kommunikation 46
2. Datenerfassung durch KI-Systeme 47
3. Automatisierte Einschätzung natürlicher Personen 47
4. Automatisierte Schlussfolgerungen aus individueller Einschätzung 48
5. Mitteilung einer Einschätzung 49
III. Fazit 51
Kapitel G
LEISTUNGSFÄHIGKEIT DES DATENSCHUTZRECHTS UND
REGELUNGSBEDARF ZUM SCHUTZ VON PERSÖNLICHKEITSRECHTEN
GEGEN RISKEN DURCH KÜNSTLICHE INTELLIGENZ 53
LITERATURVERZEICHNIS 56POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 5
Kapitel A
DAS VERHÄLTNIS VON KÜNSTLICHER
INTELLIGENZ UND DATENSCHUTZ
I. POTENZIALE UND HERAUSFORDERUNGEN DURCH KÜNSTLICHE INTELLIGENZ
AUS SICHT DES DATENSCHUTZRECHTS
Mit dem Begriff der künstlichen Intelligenz1 verbin- Künstliche Intelligenz ist datenhungrig. Die Ent-
den sich in der aktuellen Diskussion größte Erwar- wicklung von KI-Systemen beruht, insbesondere im
tungen. Künstliche Intelligenz als Teilgebiet der Fall des maschinellen Lernens, häufig entscheidend
Informatik, das der Erforschung von Mechanismen auf der Nutzung großer Mengen an Daten. Wenn
des intelligenten menschlichen Verhaltens gewid- man das zentrale Charakteristikum des maschinel-
met ist,2 oder als „Eigenschaft eines IT-Systems, len Lernens darin sieht, dass ein System anhand
,menschenähnliche‘, intelligente Verhaltensweisen von großen Datenmengen Muster erkennt und
zu zeigen“3, und ebenso KI-Systeme, also Systeme hieraus Informationen ableitet, wird deutlich, dass
bestehend aus Software und ggf. Hardware, in die Datenverarbeitung zum Kern der Entwicklung
denen Technologien der künstlichen Intelligenz zum von KI-Systemen gehört.
Einsatz kommen, faszinieren.
Auch in den Anwendungen erfolgt häufig eine
Dies gilt vor allem für den Bereich des maschinel- massive Datennutzung, KI-Systeme verwenden
len Lernens, der in der letzten Dekade auch die häufig zur Ausführung ihrer Funktionalität große
Aufmerksamkeit der breiten Öffentlichkeit erreicht Mengen an Daten. Wenn etwa ein hochautoma-
hat. Leistungen von KI-Systemen wie AlphaGo und tisiertes Fahrzeug mit Kamera, Lidar und Radar
AlphaGo Zero, ebenso Technologien wie autonome seine Umgebung wahrnimmt und darüber hinaus
Fahrzeuge, wecken weitreichende Fantasien und mit Informationen durch die Verkehrsinfrastruktur,
Erwartungen. andere Fahrzeuge sowie durch eine gegebenenfalls
laufend aktualisierte Karte versorgt wird, wird intu-
Das Potenzial der künstlichen Intelligenz und der itiv deutlich, wie stark die Verbindung von KI-Syste-
KI-Systeme wird, sicher zu Recht, als überaus men und Datenverarbeitung typischerweise ist.
groß eingeschätzt. So werden enormes Wirt-
schaftswachstum und Wohlfahrtssteigerungen Das Datenschutzrecht, das erhebliche organisatori-
erwartet.4 Im Bereich der medizinischen Forschung sche und technische Anforderungen an die Verar-
werden wesentliche Forschungserfolge etwa in beitung von (personenbezogenen) Daten formuliert
der Bekämpfung von Krankheiten erhofft.5 Nicht und diese zudem empfindlich einschränkt, steht
minder wichtig sind die erhofften Fortschritte in der in einem natürlichen Spannungsverhältnis zur
Versorgung pflegebedürftiger Menschen sowie im künstlichen Intelligenz. Zu Recht wird die Frage
Bereich der Gesundheitsfürsorge für jedermann.6 aufgeworfen, inwieweit Datenschutz ein Hemmnis
Die Steigerung von Produktivität in nahezu allen für die Entwicklung und Nutzung von künstlicher
Bereichen soll unter anderem zu einer verbesser- Intelligenz und KI-Systemen darstellt und damit
ten Versorgung der Menschheit mit Nahrung7 und der Realisierung der damit verbundenen Poten-
anderen lebenswichtigen Gütern führen.
1 Der Begriff der KI wird in großer Vielfalt definiert; siehe einen kleinen Überblick etwa bei Kaulartz/Braegelmann in Kaulartz/Braegelmann,
Kap. 1 Rn. 2 ff.
2 So eine Hauptströmung des Begriffsverständnisses, stellvertretend hier zitiert nach Wichert, Künstliche Intelligenz, in: Lexikon der Neurowis-
senschaften (Leitung: Hartwig Wanser), hrsg. von Spektrum Akademischer Verlag, 2000, abrufbar unter https://www.spektrum.de/lexikon/
neurowissenschaft/kuenstliche-intelligenz/6810 (zuletzt abgerufen am 14.11.2021).
3 So eine zweite Hauptströmung, stellvertretend zitiert nach Bitkom/DFKI, Künstliche Intelligenz, Ziff. 3.2. (S. 28).
4 Bericht Enquete-Kommission KI, BT-Drs. 19/23700, S. 168 f.; Begleitforschung PAiCE, Ziff. 4.3.1. (S. 32ff.), Ziff. 7.1 (S. 51); PwC, Auswirkun-
gen der Nutzung von künstlicher Intelligenz in Deutschland, 2018, S. 12 f., PwC Deutschland_Auswirkungen der Nutzung von künstlicher
Intelligenz in Deutschland.pdf (forum-institut.de), zuletzt abgerufen am 28.11.2021.
5 Bericht Enquete-Kommission KI, BT-Drs. 19/23700, S. 248 ff.; Krumm/Dwertmann, S. 161 f.
6 Bericht Enquete-Kommission KI, BT-Drs. 19/23700, S. 253 ff.; Plattform Lernende Systeme (Hrsg.) , Lernende Systeme im Gesundheitswesen
– Bericht der Arbeitsgruppe Gesundheit, Medizintechnik Pflege, 2019, S. 8 ff., abrufbar unter Lernende Systeme im Gesundheitswesen:-
Grundlagen, Anwendungsszenarien und Gestaltungsoptionen - PLS (plattform-lernende-systeme.de), zuletzt abgerufen am 28.11.2021; zu
Einsatzmöglichkeiten von KI i.R.d. Covid-19-Pandemie s. Bericht Enquete-Kommission KI, BT-Drs. 19/23700, S. 110 f.
7 Zur Steigerung des Ertrags in der Landwirtschaft durch KI: BT-Drs. 19/23700, S. 155 f.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 6
ziale für Wirtschaftswachstum und Wohlfahrt zur weitreichenden Überwachung von Men-
entgegensteht. schen eingesetzt werden, etwa durch autonome
Identifizierung.
Künstliche Intelligenz löst auch vielfältige Ängste
aus. Die Angst vor dem Verlust von Arbeitsplätzen KI-Systeme können, angefangen bei individua-
durch Einsatz von KI-Systemen, die vor einigen lisierter Werbung über die Beeinflussung in von
Jahren durch entsprechende Prognosen befeuert KI-Systemen geführten Dialogen bis zur gezielten
wurde, wird intensiv diskutiert.8 Die Gefahr von Erzeugung oder Verbreitung von Nachrichten,
Schäden an Leib und Leben, die etwa am Bei- durch Informationsüberlegenheit und Manipulation
spiel autonomer Fahrzeuge intuitiv deutlich wird, tiefgreifend Einfluss sowohl auf den Einzelnen als
wurde insbesondere seit dem weltweit beachteten auch auf gesellschaftliche und politische Diskurse
Unfall eines Uber-Fahrzeugs im Jahre 20189 stark nehmen.
diskutiert.
Nicht von ungefähr sind derartige Risiken Gegen-
Ängste und Sorgen lösen auch die offensichtlichen stand der rechtspolitischen Diskussion und wurden
Gefahren aus der Anwendung von KI-Systemen im beispielsweise von der EU-Kommission im kürz-
Bereich der Überwachung einerseits, der Beein- lich veröffentlichten Vorschlag eines KI-Gesetzes
flussung, gar Manipulation, andererseits aus. So aufgegriffen.
können KI-Systeme durch Informationsgewinnung
II. DATENSCHUTZ ALS ANTIPODE ODER PARTNER VON KÜNSTLICHER INTELLIGENZ?
Angst vor Überwachung ist auch eine historische als Regelung bereits der bloßen Verarbeitung
Grundlage des Datenschutzrechts. Das europäi- personenbezogener Daten weltweit zu etablieren
sche Datenschutzrecht in seiner derzeit vorherr- scheint, wächst zugleich das Unbehagen demge-
schenden Prägung wurde in den 60er Jahren unter genüber. Datenschutz wird verbreitet als Bei-
maßgeblicher Beteiligung Deutschlands entwickelt. spiel ausufernder Bürokratie, als Verhinderer von
Dem hessischen Datenschutzgesetz von 197010 Innovation sowie als Beschränkung von Freiheit
gebührt der Ruhm, das erste Datenschutzgesetz wahrgenommen.
dieser Art zu sein.11 Schon in seiner Geburtsphase
bezweckte das Datenschutzrecht den Schutz des Das Verhältnis von künstlicher Intelligenz und
Einzelnen, daneben aber auch der Gesellschaft und Datenschutz ist eine notwendige Frage der soge-
der staatlichen Institutionen.12 nannten digitalen Gesellschaft. Es bedarf eines
tieferen Verständnisses dieses facettenreichen
Das europäische Datenschutzrecht hat sich seit Verhältnisses und auch einer - derzeit noch nicht
seiner Geburtsstunde enorm entwickelt. Es regelt abgeschlossenen – adäquaten gesetzlichen Re-
heute nicht nur den Schutz gegen die Datenverar- gelung zur Gewährleistung eines angemessenen
beitung des Staates, sondern enthält eine umfas- Interessenausgleichs.
sende Regelung des Umgangs mit Informationen,
die ihren Schwerpunkt in der Abwehr von Gefahren
durch Datenverarbeitung privatwirtschaftlicher
Akteure hat und selbst den Einzelnen in seiner
privaten Tätigkeit adressiert.
Während die Notwendigkeit von Datenschutz in
Deutschland allgemein anerkannt ist und sich das
Datenschutzrecht in seiner derzeitigen Prägung
8 Siehe hierzu etwa Südekum, Digitalisierung und die Zukunft der Arbeit, WPZ Analyse Nr. 19, 26.07.2018, PA19DigitalisierungZukunftAr-
beit20180726.pdf (wpz-fgn.com), zuletzt abgerufen am 28.11.2021.
9 FAZ, Fußgängerin stirbt nach Unfall mit selbstfahrendem Auto von Uber, 2018, Frau stirbt nach Unfall mit selbstfahrendem Auto von Uber
(faz.net ), zuletzt abgerufen am 28.11.2021; Heise, Tödlicher Unfall mit autonomem Auto: Uber-Fahrerin angeklagt, 2020, Tödlicher Unfall
mit autonomem Auto: Uber-Fahrerin angeklagt | heise online, zuletzt abgerufen am 28.11.2021.
10 Datenschutzgesetz [Hessen] vom 7.10.1970, GVBl. Hessen 1970 I 625.
11 Simitis/Hornung/Spieker-Simitis/Hornung/Spieker, Einl. Rn. 1.
12 Simitis/Hornung/Spieker-Simitis/Hornung/Spieker, Einl. Rn. 6 ff., 22 ff.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 7
III. GEGENSTAND UND GANG DER UNTERSUCHUNG
Die vorliegende Untersuchung nimmt gemäß ihrem Intelligenz im Überblick analysiert werden. Dazu
Titel „Potenziale von Künstlicher Intelligenz mit Blick sollen spezifische Risiken, die von dem Einsatz von
auf das Datenschutzrecht“ das Spannungsverhält- mit künstlicher Intelligenz ausgestatteten Systemen
nis von technischer Innovation und Datenschutz in ausgehen, dargestellt werden. Darauf aufbauend
den Blick. Als Leitgedanke sollen hier zum einen die werden, am Beispiel der Informationsgewinnung
Frage dienen, inwieweit das Datenschutzrecht eine durch KI-Systeme, die Schutzinstrumente des
Grundlage für die erfolgreiche Nutzung der Poten- Datenschutzrechts im Hinblick auf ihre Leistungs-
ziale von KI darstellt, indem es eine Grundlage für fähigkeit in Bezug auf die zuvor identifizierten spe-
die Akzeptanz von KI und KI-Systemen darstellt, zifischen Risiken überprüft. Dabei zeigt sich, dass
und zum anderen die Frage, inwieweit Datenschutz einzelne der mit KI verbundenen Risiken durch das
eine Beschränkung für die Nutzung dieser Potenzi- Datenschutzrecht sehr intensiv adressiert werden,
ale bewirkt. andere hingegen nicht oder nur sehr eingeschränkt.
Die Hypothese dieser Untersuchung ist insoweit, Beschränkung von Forschung und Anwendung
dass Datenschutz weder einseitig als Grundlage Künstlicher Intelligenz durch Datenschutz
noch als Hemmschuh für die Entwicklung von KI In einem weiteren Abschnitt (unten C) werden
und KI-Systemen anzusehen ist, sondern letztlich potenziell problematische Beschränkungen, die sich
einen von mehreren Bausteinen des – noch nicht aus dem Datenschutzrecht für die Forschung und
abschließend entwickelten – rechtlichen Rahmens Anwendung von künstlicher Intelligenz ergeben,
für künstliche Intelligenz darstellt. systematisch zusammengestellt und im Hinblick
auf Plausibilität grob evaluiert.
Dabei sollen im Wege einer Bestandsaufnahme
aktuelle Herausforderungen und Probleme, zugleich Möglichkeiten und Grenzen des Verzichts auf per-
aber auch – positiver – Ergebnisse in der Anwen- sonenbezogene Daten beim maschinellen Lernen
dung des Datenschutzrechts auf KI benannt wer- Im Hinblick auf mögliche Lösungen des Span-
den. Weiterhin soll untersucht werden, inwieweit nungsverhältnisses zwischen Datenschutz und
Änderungsbedarf im Datenschutzrecht besteht, Forschung wird am Beispiel des maschinellen Ler-
um die Potenziale von maschinellem Lernen und KI nens untersucht, welche Potenziale und Schwierig-
insgesamt besser zur Geltung kommen zu lassen. keiten mit einem Verzicht auf den Einsatz perso-
Zudem soll aufgezeigt werden, ob und wie der Da- nenbezogener Daten verbunden sind (unten D).
tenschutz bereits dazu beiträgt oder künftig dazu
beitragen kann, dass datenbasierte Diskriminierung Fehlerhafte Entscheidungen durch Künstliche
von Menschen durch KI-Anwendungen vermieden Intelligenz
wird. Die Risiken fehlerhafter Bewertungen natürlicher
Personen durch KI-Systeme und die Gefahr von
Die umfassende wissenschaftliche Erörterung Diskriminierung sind zu Recht ein zentraler Aspekt
des Verhältnisses von KI und Datenschutz bedarf der Diskussion zu KI-Systemen. Daher bildet die
eines Forschungsprogramms. Das Anliegen dieser Betrachtung dieser Fragestellung mit Blick auf die
Untersuchung kann es daher nur sein, diese Frage- Rolle des Datenschutzrechts einen Schwerpunkt
stellung anhand ausgewählter aktueller Themen- der Untersuchung (unten E).
bereiche anzureißen, die verschiedene Aspekte der
KI und ihres Verhältnisses zum Datenschutzrecht Herausforderungen durch Verwendung von
beleuchten. Im Einzelnen sollen folgende Aspekte Echtzeitdaten
angesprochen werden: Durch die Verwendung von Echtzeitdaten kön-
nen, etwa bei Techniken des dynamic pricing oder
Datenschutzrecht als Schutz vor Risiken für beim predictive policing, aber auch bei individueller
Rechte und Freiheiten natürlicher Personen durch Werbung, Grundlagen für automatisierte oder auch
Künstliche Intelligenz manuelle Entscheidungen geschaffen werden, die
In einem ersten Abschnitt (sogleich B) soll die Leis- für den Betroffenen u. U. erhebliche Bedeutung
tungsfähigkeit des geltenden Datenschutzrechts in haben können.
Bezug auf die spezifischen Risiken für Rechte und
Freiheiten natürlicher Personen durch künstlichePOTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 8 Die Verwendung von Echtzeitdaten betrifft teilwei- se klassische Aspekte des Datenschutzrechts, etwa das Vorliegen von personenbezogenen Daten und die Rechtfertigung der Verarbeitung personenbe- zogener Daten, geht aber auch darüber hinaus, namentlich unter dem Aspekt der Informations asymmetrie und der daraus ggf. resultierenden Wissensüberlegenheit. Daher soll diese Fallgruppe zur Beschreibung der Bedeutung einerseits, der Grenzen des Datenschutzrechts andererseits, in Bezug auf die mit KI verbundenen Risiken beleuch- tet werden (unten F). Leistungsfähigkeit des Datenschutzrechts und Regelungsbedarf Abschließend wird eine Bewertung der Leistungs- fähigkeit des Datenschutzrechts zur Abwehr von Gefahren durch KI-Systeme versucht und, aufset- zend auf den im Rahmen der Untersuchung ermit- telten Lücken, Regelungsbedarf sowohl innerhalb des Datenschutzrechts als auch darüber hinaus benannt (unten G).
POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 9
Kapitel B
DATENSCHUTZRECHT ALS SCHUTZ VOR
RISIKEN FÜR RECHTE UND FREIHEITEN
NATÜRLICHER PERSONEN DURCH
KÜNSTLICHE INTELLIGENZ
I. RISIKEN FÜR RECHTE UND FREIHEITEN NATÜRLICHER PERSONEN DURCH
KÜNSTLICHE INTELLIGENZ
1. KI-SYSTEME ALS GEGENSTAND DER Gegenstand des KI-Gesetzes ist nicht die „künstli-
RECHTLICHEN REGELUNG che Intelligenz“, sondern sind „KI-Systeme“. Der Be-
griff des KI-Systems, der sich in der europäischen
Der rechtliche Rahmen für Künstliche Intelligenz ist Diskussion durchzusetzen scheint, wird in Art. 3
in jüngster Zeit Gegenstand intensiver Diskussion.13 Nr. 1 des KI-Gesetz-Entwurfs definiert. KI-Syste-
In Europa treibt die Europäische Kommission, ins- me sind danach „eine Software, die mit einer oder
besondere seit Veröffentlichung ihrer KI-Strategie mehreren der in Anhang I aufgeführten Techniken
201814, die Entwicklung eines spezifischen Rechts- und Konzepte entwickelt worden ist und im Hinblick
rahmens für KI voran. Insbesondere wurde eine auf eine Reihe von Zielen, die vom Menschen fest-
ganze Reihe von Expertengruppen gegründet, die gelegt werden, Ergebnisse wie Inhalte, Vorhersa-
ethischen und rechtlichen Aspekten der künstlichen gen, Empfehlungen oder Entscheidungen hervor-
Intelligenz gewidmet waren und im Februar 2020 bringen kann, die das Umfeld beeinflussen, mit dem
in zwei Veröffentlichungen der Kommission münde- sie interagieren“. Im Anhang I des Entwurfs sind die
ten: Während die Kommission in ihrem Weißbuch bekannten Techniken und Konzepte, die zur Künst-
zur künstlichen Intelligenz15 die Bedeutung des lichen Intelligenz im Sinne eines Teilgebiets der
ethischen und rechtlichen Rahmens von Künstlicher Informatik gezählt werden, aufgeführt. KI-Systeme
Intelligenz betonte, konkretisiert sie in ihrem Bericht sind danach also letztlich Computerprogramme, die
zur Sicherheit und Haftung für Intelligenz, Internet mit Techniken der künstlichen Intelligenz erzeugt
der Dinge und Robotik16 ihre Strategie zu zentra- wurden.
len Rechtsfragen. Im April 2021 veröffentliche die
Kommission ihren Vorschlag für ein „Gesetz über Die Bezugnahme auf KI-Systeme als Gegenstand
künstliche Intelligenz“.17 Der Verordnungsvorschlag, der Regelung überzeugt, da sich die besonderen
der sofort weltweite Aufmerksamkeit gewann, re- Gefahren durch künstliche Intelligenz erst in funkti-
gelt – entgegen der anmaßenden Bezeichnung als onsfähigen Produkten zeigen. Die Herstellung und
„KI-Gesetz“ – zentrale Aspekte der Sicherheit von Nutzung derartiger Produkte ist daher zu Recht
KI-Systemen und setzt hier, wie der am gleichen ein wichtiger Gegenstand des Rechtsrahmens für
Tag veröffentliche Entwurf einer neuen Maschinen- KI. Das – ausgesprochen weite – Verständnis des
verordnung18, die künftige europäische Grundlage KI-Gesetz-Entwurfs von KI-Systemen wird auch in
des Produktsicherheitsrechts, weitgehend auf das dieser Untersuchung zugrunde gelegt.
aus dem Produktsicherheitsrecht bekannte System
einer Sicherheitsprüfung durch den Hersteller, das KI-Systeme können Schäden an Rechtsgütern na-
zu einem umfassenden Risikomanagement ausge- türlicher Personen verursachen. Soweit physische
baut wird. Maschinen durch KI-Systeme gesteuert werden,
13 Siehe einen Überblick etwa bei Borges, A legal Framework for Autonomous Systems, Ziff. 1.1.
14 Mitteilung der Kommission an das Europäische Parlament, den Europäischen Rat, den Europäischen Wirtschafts- und Sozialausschuss und
den Ausschuss der Regionen Künstliche Intelligenz für Europa vom 25.4.218, COM(2018) 237 final.
15 Weißbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen vom 19.2.2020, COM(2020) 65 final.
16 Bericht der Kommission an das Europäische Parlament, den Rat und den Europäischen Wirtschafts- und Sozialausschuss, Bericht über
die Auswirkungen künstlicher Intelligenz, des Internet der Dinge und der Robotik im Hinblick auf Sicherheit und Haftung vom 29.1.2020,
COM(202) 64 final.
17 Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelli-
genz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union vom 21.4.2021, COM(2021) 206 final.
18 Proposal for a Regulation of the European Parliament and of the Council on machinery products vom 21.4.2021, COM(2021) 202 final.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 10
etwa hochautomatisierte Fahrzeuge, Drohnen, ec., (dazu sogleich II.) und die Aspekte der Bewertung
ist das Risiko für Rechtsgüter durch Unfälle offen- als eigene Fallgruppe erfasst werden.
sichtlich. Derartige Gefahren von Personen- und
Sachschäden werden derzeit sowohl aus der Pers- 3. ALGORITHMISCHE ENTSCHEIDUNGEN
pektive der Haftung als auch der Produktsicherheit ÜBER PERSONEN
betrachtet. Auch der Entwurf des KI-Gesetzes
widmet sich diesen Aspekten. Mit dem Begriff der algorithmischen Entscheidung
sowie verwandten Begriffen wie „maschinelle Ent-
Aus der Perspektive des Datenschutzrechts sind scheidung“ werden im Kern Entscheidungen durch
vor allem Risiken für die Persönlichkeit von Inter- Maschinen über Rechtsträger bezeichnet, von
esse, ebenso das Spannungsverhältnis zwischen Steuerbescheiden und anderen Verwaltungsakten
Persönlichkeitsschutz und Innovationsschutz. Aus bis zu Auswahlentscheidungen und Bewertungen
systematischer Sicht können die vielgestaltigen (dazu unten E.I).
Risiken in Gruppen zusammengefasst werden.
Entscheidungen und Bewertungen zu Personen
2. ERZEUGUNG UND AGGREGATION VON durch Maschinen hängen typischerweise zusam-
INFORMATION DURCH KI-SYSTEME men: Eine Bewertung entsteht in einem Vorgang
(Bewertungsvorgang), als dessen Bestandteil man
Als eine erste Fallgruppe soll die Informationsge- die Entscheidung ansehen kann, dem Entschei-
winnung durch KI-Systeme betrachtet werden. dungsobjekt ein bestimmtes Bewertungsergebnis
Chancen und Risiken aus der Sammlung und Ag zuzuordnen. Wenn eine Maschine ein Scoring zu
gregation von Informationen werden zu Recht unter der Verhaltensweise einer natürlichen Person oder
dem Stichwort „Big Data“ diskutiert, es handelt sich eine Bewertung in Bezug auf die Eignung für einen
nicht um eine spezifische Fragestellung der künst- Arbeits- oder Studienplatz abgibt, so kann man
lichen Intelligenz. Jedoch werden KI-Systeme zur hierin eine Entscheidung sehen (dazu unten E.I).
Informationsgewinnung eingesetzt. Ein intuitives Der Begriff der algorithmischen Entscheidung wie-
Beispiel liefert etwa die Gesichtserkennung durch derum meint nicht die Entscheidung eines hochau-
KI-Systeme, durch die natürliche Personen identifi- tomatisierten Fahrzeugs, rechts oder links abzu-
ziert werden oder einzelne Merkmale von Personen biegen, sondern bezeichnet die Zuordnung von
erfasst werden. Neue Informationen können auch Rechtsfolgen oder von Bewertungen; enthalten ist
durch die Auswertung vorhandener Informationen also eine Bewertung im soeben genannten Sinne.
zu natürlichen Personen, etwa durch Bewertung
jeglicher Art, erfolgen. In beiden Fällen bestehen charakteristische Risiken,
die sich auf den Inhalt der Entscheidung oder
Die Informationsgewinnung durch KI-Systeme Bewertung beziehen. Der Steuerbescheid und
erfolgt typischerweise durch Auswertung bereits ebenso eine Bewertung über die Eignung für einen
vorhandener Information. So liegt der Gesichtser- Arbeitsplatz können inhaltlich fehlerhaft sein, etwa
kennung das Bildnis einer Person zugrunde, bei eine Diskriminierung enthalten oder aufgrund eines
Scoring oder Bewertung von Videoaufnahmen Rechenfehlers einen nicht zutreffenden Punktewert
eines Bewerbungsgesprächs erfolgt die Bewertung aufweisen.
anhand der dem KI-System zur Verfügung gestell-
ten Daten. Die möglichen Fehler einer von einer Software
verfassten Bewertung oder Entscheidung sind
Daher sind in Bezug auf Informationsgewinnung unterschiedlicher Art und können sich in sehr unter-
durch KI-Systeme zwei Aspekte zu unterscheiden: schiedlichen Rechtsverhältnissen auswirken. Es ist
zum einen die Verarbeitung personenbezogener daher erforderlich, die Fehler von algorithmischen
Daten als solche und zum anderen die Bewertung Entscheidungen sowie von Bewertungen zu syste-
als solche, die im Hinblick auf ihre Zulässigkeit matisieren und sodann die rechtlichen Aspekte der
oder ihre Qualität zu betrachten ist. Dieser zentra- Fehler systematisch zu erfassen. Dies soll in dieser
len Unterscheidung folgend sollen hier unter dem Untersuchung für Entscheidungen und Bewertun-
Gesichtspunkt der Informationsgewinnung die Ver- gen gemeinsam erfolgen (unten E).
arbeitung personenbezogener Daten als klassische
datenschutzrechtliche Fragestellung untersuchtPOTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 11
4. WISSENSÜBERLEGENHEIT UND Auch die personalisierte Ansprache, etwa in Form
BEEINFLUSSUNG DURCH KI-SYSTEM von personalisierter Werbung oder individuellen
Preisangaben, kann Risiken für Persönlichkeitsrech-
Ein wesentlicher Aspekt möglicher Gefahren durch te aufweisen und wird zu Recht diskutiert (dazu
künstliche Intelligenz betrifft den Bereich der Über- unten F).
legenheit, insbesondere der Wissensüberlegenheit
von KI-Systemen gegenüber dem Menschen und Der Themenbereich der Wissensüberlegenheit
der Beeinflussung von natürlichen Personen durch kann im Rahmen dieser Untersuchung bei weitem
KI-Systeme. Zu den offensichtlichen Gefahren nicht ausgelotet werden, soll aber, im Hinblick vor
gehört etwa die Manipulation von Menschen durch allem auf das Datenschutzrecht, jedenfalls anhand
Maschinen, die etwa in Artikel 5 Abs. 1 lit. a) und b) relevanter Beispiele untersucht werden (unten F
des vorgeschlagenen KI-Gesetzes adressiert wird. I.2).
II. ASPEKTE DES VERHÄLTNISSES VON DATENSCHUTZ UND KÜNSTLICHER
INTELLIGENZ
1. ZIELSETZUNG UND SCHUTZINSTRUMENTE tigung bedarf, wird durch zahlreiche Pflichten der
DES DATENSCHUTZRECHTS Verarbeiter personenbezogener Daten ergänzt, die
sich vor allem auf die Transparenz sowie auf die
Das Datenschutzrecht soll vor allem die Persönlich- Sicherheit der Datenverarbeitung beziehen.
keit des Einzelnen vor Risiken aus der Verarbeitung
seiner Daten schützen. Das Datenschutzrecht Das Datenschutzrecht gewährt dem Betroffe-
ist also seiner Intention nach nicht das Recht der nen umfassende Rechte. Kernelement ist hier die
künstlichen Intelligenz. Jedoch steht es in einem Befugnis, durch Gewährung, Einschränkung oder
engen und vielfältigen Verhältnis zur Anwendung Widerruf seiner Einwilligung den Umfang der
von künstlicher Intelligenz. Dies ist unmittelbar der Datenverarbeitung zu beeinflussen. Dieses Recht
Fall, soweit KI-Systeme personenbezogene Daten wird durch eine breite Palette an Rechten zur
verarbeiten. Hier wirkt das Datenschutzrecht als Durchsetzung begleitet. Schließlich wird die Daten-
Begrenzung der Nutzung von KI, steht also in verarbeitung einer intensiven staatlichen Kontrolle
einem Spannungsverhältnis zur künstlichen Intel- unterworfen. Diese Schutzinstrumente des Daten-
ligenz. KI-Systeme können auch zum Schutz von schutzrechts sind auch bei Verarbeitung von Daten
Persönlichkeitsrechten eingesetzt werden, entspre- durch KI-Systeme umfassend anwendbar.
chend insoweit also den Schutzzielen des Daten-
schutzrechts, und kann ggf. sogar Datenschutz 2. SPEZIFISCHE DATENSCHUTZRECHTLICHE
unterstützen.19 SCHUTZINSTRUMENTE FÜR KI-SYSTEME?
Da das Datenschutzrecht in erster Linie Schutz- Das Datenschutzrecht enthält bisher keine spe-
funktion zugunsten des Einzelnen hat und nicht, zifischen Instrumente in Bezug auf KI-Systeme,
wie etwa das Immaterialgüterrecht, Rechte an sodass sich die Frage stellt, ob das Datenschutz-
Daten begründet, ist zu vermuten, dass die Funk- recht in Bezug auf die spezifischen Risiken durch
tion des Datenschutzrechts als Begrenzung der KI-Systeme adäquaten Schutz bietet, ob es
Nutzung von Technologien überwiegt. Ob diese Be- modifiziert werden sollte oder ob der Persön-
grenzung problematisch ist oder aber eine wesent- lichkeitsschutz im Hinblick auf die Risiken durch
liche Grundlage für die Akzeptanz und Zulässigkeit KI-Systeme durch andere Gesetze zu ergänzen ist.
der Nutzung von KI darstellt, ist die entscheidende Dabei dürfte unstreitig sein, dass der rechtliche
Frage im Verhältnis von KI und Datenschutzrecht. Rahmen für künstliche Intelligenz über Datenschutz
weit hinausgeht, auch in Bezug auf den Schutz von
Das Datenschutzrecht enthält ein breites Schut- Persönlichkeitsrechten.
zinstrumentarium. Der zentrale materiellrechtliche
Grundsatz des Datenschutzrechts, dass die Verar- Ein spezifisches Regelungssystem zum Schutz der
beitung personenbezogener Daten der Rechtfer- Persönlichkeitsrechte gegen Gefahren aus KI-Sys-
19 Dazu etwa Meents in Kaulartz/Braegelmann.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 12
temen wird sich vor allem durch das vorgeschlage- Migration und Grenzkontrollen (Anhang III Ziff. 7 lit.
ne KI-Gesetz ergeben. So enthält der Entwurf des a) bis d), bei denen jeweils automatisierte Bewer-
KI-Gesetzes der EU-Kommission eine ganze Reihe tungen von Personen im Vordergrund der Regelung
von Regeln, die ausdrücklich Risiken für Persönlich- stehen.
keit durch KI-Systeme adressieren. Dies gilt nicht
zuletzt für die in Art. 5 Abs. 1 des Entwurfs vorge- In Bezug auf die zuvor genannten Risiken von
sehenen Verbote der Nutzung von KI-Systemen, die KI-Systemen für Persönlichkeitsrechte lässt sich
die in lit. a) und b) zur schädigenden Beeinflussung bereits eine Abstufung hinsichtlich der Bedeutung
von Personen, in lit. c) social scoring untersagt. des Datenschutzrechts erkennen: So betrifft die
Auch im Fall des in Art. 5 Abs. 1 lit. d) des Entwurfs Fallgruppe der Informationsgewinnung und -ag-
geregelten Einschränkung der Nutzung biomet- gregation durch KI-Systeme den Kern des Daten-
rischer Echtzeit-Fernidentifizierungssysteme zu schutzrechts, soweit, wie häufig, personenbezoge-
Strafverfolgungszwecken hat einen starken Bezug ne Daten verarbeitet werden. Insoweit ist also von
zu Persönlichkeitsrechten. Auch im Bereich der entscheidender Bedeutung, ob das Datenschutz-
Hochrisiko-KI-Systeme, dem zentralen Regelungs- recht adäquate Lösungen bietet.
gegenstand des KI-Gesetz-Entwurfs, sind Risiken
für Persönlichkeitsrechte adressiert. So soll der In Bezug auf den Inhalt einer maschinellen Ent-
Anhang III des Gesetzes vor allem Anwendungen scheidung oder Bewertung ist bereits fraglich,
erfassen, in denen Persönlichkeitsrechte betroffen inwieweit das Datenschutzrecht reicht. Auch wenn
sind, angefangen bei Systemen zur biometrischen die DSGVO mit ihrem Artikel 22 und den korres-
Fernidentifizierung (Anhang III Ziff. 1), über KI-Sys- pondierenden Informationspflichten in den Artikeln
teme zur Entscheidung über den Zugang natürli- 13, 14 algorithmische Entscheidungen adressiert
cher Personen zu Einrichtung der Bildung (Anhang (dazu unten E.III), sind die Grenzen des Daten-
III Ziff. 3 a) oder Bewertung von Schülern in solchen schutzrechts offensichtlich und ist ein komplemen-
Einrichtungen (Anhang III Ziff. 3 b) und KI-Systeme, täres Verhältnis zum KI-Gesetz sowie zu anderen,
die für die Einstellung oder Auswahl von Bewer- gegebenenfalls noch zu schaffenden Regeln zu
bern für Beschäftigungsverhältnisse (Anhang III erwarten.
Ziff. 4 a) oder Entscheidungen im Rahmen von
Beschäftigungsverhältnissen (Anhang III Ziff. 4 b) Im Folgenden soll der Aspekt der Informations-
sowie von KI-Systemen zur Kreditwürdigkeitsprü- gewinnung erörtert werden; die übrigen Aspekte
fung (Anhang III Ziff. 4 b) bis hin zu KI-Systemen im werden in späteren Abschnitten der Untersuchung
Rahmen der Strafverfolgung (Anhang III Ziff. 6 lit. erörtert.
a) bis g) oder staatlichen Eingriffen im Rahmen der
III. INFORMATIONSGEWINNUNG DURCH KI-SYSTEME
1. EINFÜHRUNG. BILDAUSWERTUNG ALS Das wohl prominenteste Beispiel ist die Face-
BEISPIEL FÜR INFORMATIONSGEWINNUNG book-Gesichtserkennung, die 2012 erstmals
DURCH KI-SYSTEME eingeführt, zwischenzeitlich in Europa und Kanada
deaktiviert, 2018 erneut aktiviert und 2021 wie-
Der Themenbereich der Gewinnung und Aggre- derum deaktiviert wurde.20 Technisch basiert die
gation von Information durch KI-Systeme ist von Facebook-KI auf einer Auswertung von Fotos, auf
unendlicher Vielfalt und kann nur exemplarisch denen Personen markiert wurden; beim Hochladen
untersucht werden. Ziel dieser Untersuchung ist es, weiterer Fotos hat das System sodann automatisch
KI-spezifische Besonderheiten herauszuarbeiten geprüft, ob bereits „bekannte“ Personen auf den
und zu prüfen, ob das geltende Datenschutzrecht neu hochgeladenen Fotos zu erkennen sind.21
auf diese adäquat reagiert. Diese Aufgabe soll am
Beispiel der Gesichtserkennung erfolgen, die häufig Es wird eine ganze Reihe an Diensten im Zu-
durch KI-Systeme durchgeführt wird. sammenhang mit Gesichtserkennung per Inter-
net angeboten. So bietet auch Google eine Bil-
20 Vgl. die Mitteilung von Facebook vom 2.11.2021, abrufbar unter https://about.fb.com/news/2021/11/update-on-use-of-face-recognition/.
21 Vgl. die Angaben auf der Hilfeseite von Facebook zur Gesichtserkennung (zwischenzeitlich abgeschaltet ); die letzte veröffentliche Version
vom 28.10.2021 ist einsehbar über https://web.archive.org/web/20211028095307/https://de-de.facebook.com/help/122175507864081.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 13
der-Rückwärtssuche an. Diese findet, wenn als untersucht. Vergleichsgegenstand und hinreichen-
Suchobjekt ein Bild hochgeladen oder die Bildquelle de Übereinstimmung können dabei letztlich, je nach
angegeben wird, ähnliche Bilder und listet zudem dem Zweck der Gesichtserkennung, frei bestimmt
Internetseiten auf, auf denen die Bildquelle eben- werden.
falls verwendet wird. Auf ähnlichen Mechanismen
basieren auch auf Gesichtserkennung spezialisierte In wichtigen Anwendungsbereichen, etwa bei Zu-
Suchmaschinen, die etwa von Unternehmen wie gangskontrolle, wird das zu vergleichende Bildnis
Clearview22 oder PimEyes23 angeboten werden. mit bereits bekannten Bildnissen von Personen
Während sich Clearview vor allem im Bereich der verglichen, um festzustellen, ob die Bilder in der
Strafverfolgung profiliert,24 stellt PimEyes eine Weise als übereinstimmend bezeichnet werden
kostenpflichtige Suchmaschine zur Rückwärtssu- können, dass mit hinreichender Sicherheit fest-
che bereit. Die Suchmaschine PicTriev25 hingegen gestellt werden kann, dass die Bildnisse dieselbe
sucht nach dem Upload eines Fotos nach ähnlich natürliche Person abbilden. Dabei geht es nicht um
aussehenden (überwiegend prominenten) Perso- Ähnlichkeit der Bildnisse, sondern um hinreichend
nen aus einer Datenbank und schätzt zugleich das starke Ähnlichkeit der aus den Bildern ableitbaren
Geschlecht und das Alter der Person, die auf dem Merkmale der augenscheinlich auf beiden Bildern
vom Nutzer hochgeladenen Foto abgebildet ist. gezeigten Person.
Die Angebote sind letztlich recht unterschiedlich.
Bei den für jedermann zugänglichen, kostenfreien Ein Vergleich kann sich aber auch auf einzelne
Diensten wird also durchaus nicht stets eine Identi- Merkmale einer Person beziehen. So kann ein
fizierung der abgebildeten Person angeboten. Vergleich etwa – wie im Fall des kostenlosen Tools
von PicTriev27 – darauf gerichtet sein, das augen-
Aus rechtlicher Sicht kann man die wesentliche scheinliche Geschlecht oder das ungefähre Alter
Aufgabe von KI-Systemen im Zusammenhang mit einer Person festzustellen, was für Werbezwe-
Gesichtserkennung wohl auf den Identitätsver- cke ausreichend sein kann. Damit wird deutlich,
gleich zurückführen. Mit diesem Wort soll der Be- dass Gesichtserkennung nicht notwendigerweise
griff der Identitätsprüfung vermieden werden, der zur Identifizierung im Sinne der Feststellung der
meist im Sinne von Identifizierung verstanden wird. bürgerlichen Identität einer Person genutzt werden
Mit dem Begriff der Identifizierung wird typischer- muss.
weise die Feststellung der bürgerlichen Identität
einer natürlichen Person bezeichnet. Dies ist ein KI-Systeme zur Gesichtserkennung werfen zahl-
wichtiger Zweck der Gesichtserkennung und gilt für reiche Rechtsfragen auf. Zu Recht adressiert auch
den Einsatz von Gesichtserkennung bei fast allen der Entwurf des KI-Gesetzes Gesichtserkennung
Anwendungen der Zugangskontrolle, sei es beim in mehrfacher Weise. So spielt Gesichtserkennung
Zugang zu einem Staatsgebiet oder bei Zugang zu eine Rolle im Rahmen der von Artikel 5 ausgespro-
einem geschützten Gebäude oder Raum, ebenso chenen Verbote bestimmter KI-Anwendungen.
bei dem umstrittenen Dienst von Facebook, soweit Vor allem aber sind Gesichtserkennungssysteme
diese ihre Identität gegenüber Facebook preisgege- häufig Bestandteil von Anwendungen, die als
ben haben. Hochrisiko-KI-Systeme einzuordnen sind und damit
besonderen Pflichten in Bezug auf das Risikoma-
Identitätsvergleich meint hier dagegen den der nagement und zudem einer öffentlichen Aufsicht
Identifizierung zugrunde liegenden Schritt, nämlich unterliegen sollen.
schlicht die Überprüfung der Übereinstimmung – im
Sinne der ursprünglichen Bedeutung des Begriffs Aus datenschutzrechtlicher Sicht wirft Gesichtser-
„Identität“26 – zweier Bildnisse einer Person. Im kennung in vermutlich allen Aspekten des Daten-
Rahmen von Gesichtserkennung wird vom System schutzes schwierige Fragen auf, die für KI-Systeme
ein Bildnis einer Person mit einem Vergleichs- typisch sind.
gegenstand auf hinreichende Übereinstimmung
22 Die Unternehmenswebsite ist abrufbar unter https://www.clearview.ai/.
23 Die Unternehmenswebsite ist abrufbar unter https://pimeyes.com/.
24 Vgl. etwa die kritische Berichterstattung über das weltweite Angebot an Polizeibehörden unter https://netzpolitik.org/2021/
ueberwachungstechnik-clearview-bietet-umstrittene-gesichtserkennung-polizeien-weltweit-an/.
25 Abrufbar unter http://www.pictriev.com/.
26 Dazu Meyer, S. 24 f.
27 Vgl. oben Fn. 25.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 14
2. PROBLEME DES ANWENDUNGSBEREICHS und vollständig automatisiert ausgewertet, zudem
DES DATENSCHUTZRECHTS AM BEISPIEL VON seien lediglich Metadaten zu den Bildern übertra-
BILDNISSE gen worden.30
a. Bildaufnahmen in der personalisierten b. Bildaufnahmen als personenbezogene
Werbung Daten per se?
Strittige Fragen ergeben sich etwa beim Anwen- Die in diesen Beispielen illustrierte Fragestellung
dungsbereich des Datenschutzrechts. So ist zu lautet, ob Bildaufnahmen als personenbezogene
fragen, ob es sich bei den Bildnissen, die durch eine Daten zu bezeichnen sind, wenn zu keinem Zeit-
Kamera erzeugt und dem Gesichtserkennungssys- punkt eine Identifizierung der abgebildeten Person
tem zum Identitätsvergleich zugeleitet werden, um realistischerweise möglich ist. Diese Fragestel-
personenbezogene Daten handelt. Dieser Aspekt lung stellt sich nicht nur bei KI-Systemen, sondern
wird etwa im Rahmen von personalisierter Wer- generell. Unterliegen etwa alle Fotos, die ein Tourist
bung (dazu unten F.I.1) relevant, soweit Syste- von einer Sehenswürdigkeit macht, dem Daten-
me die Personalisierung anhand von Bildnissen schutzrecht, weil notgedrungen – ihm unbekannte
vornehmen. – Passanten oder andere Touristen auf dem Bild
zu sehen sind? Die Frage ist aber für KI-Systeme in
Ein Beispiel für personalisierte Werbung anhand besonderer Weise relevant: Dies gilt nicht nur für
von Personenaufnahmen lieferte die Supermarkt- das hier herangezogene Beispiel der Gesichtser-
kette real, die von Herbst 2016 bis Juni 2017 in 4128 kennung, sondern für zahlreiche KI-Systeme, die in
Filialen individuelle Werbung im Kassenbereich Maschinen verwendet werden. So sind autonome
einsetzte. Dabei wurden den im Kassenbereich Fahrzeuge, ebenso alle anderen hochautomati-
wartenden Kunden auf Bildschirmen Werbung an- sierten Verkehrsmittel, regelmäßig mit Kameras
gezeigt. Die Auswahl der den Kunden angezeigten ausgestattet, die zur Ausführung ihrer Funktionen,
Werbung wurde von einer Auswertung von Daten etwa Fahren im öffentlichen Verkehr, auch Bilder
des Kunden abhängig gemacht. Konkret wurde von natürlichen Personen erzeugen.31
durch eine Kamera der im Blickkontakt mit dem
Bildschirm stehende Kunde erfasst, das Bild wurde Bei KI-Systemen stellt sich im Zusammenhang
mittels Software ausgewertet. Nach bestimm- mit der Qualifikation von Kameraaufnahmen als
ten Kriterien, unter anderem dem geschätzten personenbezogenen Daten noch eine weitere
Alter und Geschlecht des Kunden, wurde die ihm Frage, die am Beispiel der Dashcam-Entscheidung
anzuzeigende Werbung ausgewählt. 29 Derartige des Bundesgerichtshofs32 deutlich wird. Hier ging
Techniken sind in anderen Ländern stärker ver- es anlässlich eines Streits um das Verschulden
breitet. So sind etwa in Japan seit 2012 verbreitet eines Verkehrsunfalls um die Frage, ob es sich
Verkaufsautomaten im Einsatz, die aufgrund einer bei den von der Dashcam eines Unfallbeteiligten
Kameraaufnahme personalisierte Angebote für erzeugten Aufnahmen des anderen am Verkehrs-
Kunden aussuchen und auf einem Monitor anzei- unfall beteiligten Fahrzeugs um personenbezogene
gen (dazu unten F.I.1). Daten handelte. Der BGH qualifizierte das Bildnis
eines Autos unter Einschluss des Kfz-Kennzeichens
Die bürgerliche Identität des Werbeadressaten war als personenbezogenes Datum dessen Halters.33
weder im Fall der japanischen Verkaufsautomaten Diese Einstufung, die datenschutzrechtliche Laien
noch im Beispiel der real-Supermärkte irgendei- zu Recht erstaunen dürfte, wird in der datenschutz-
nem Beteiligten bekannt. Im Fall der real-Werbung rechtlichen Literatur nahezu einhellig gebilligt.34 Der
wurden die Bilder nach Unternehmensangaben nur BGH begründete dies damit, dass in der konkreten
für 150 Millisekunden auf dem Server gespeichert Situation eines Verkehrsunfalls der Beteiligte je-
28 real, Ende des Echion-Tests zur Blickkontakterfassung, 27.6.2017, online verfügbar: Ende des Echion-Tests zur Blickkontakterfassung - Pres-
semitteilung |real-markt.de, zuletzt abgerufen am 28.11.2021.
29 Frankfurter Allgemeine Zeitung, Supermarktkette Real analysiert Kundengesichter, online verfügbar: Supermarktkette Real testet Gesichtser-
kennung (faz.net ), zuletzt abgerufen am 10.11.2021; Legal Tribune Online (LTO), Vorsicht, Kamera!, online verfügbar: Gesichtserkennung im
Supermarkt: Dürfen die das? (lto.de), zuletzt abgerufen am 10.11.2021; Weser Kurier, Supermarkt scannt Kunden, online verfügbar: Super-
markt scannt Kunden - WESER-KURIER, zuletzt abgerufen am 10.11.2021.
30 Frankfurter Allgemeine Zeitung, Supermarktkette Real analysiert Kundengesichter, online verfügbar: Supermarktkette Real testet Gesichts-
erkennung (faz.net ), zuletzt abgerufen am 10.11.2021; Weser Kurier, Supermarkt scannt Kunden, online verfügbar: Supermarkt scannt
Kunden - WESER-KURIER, zuletzt abgerufen am 10.11.2021.
31 Schröder, ZD 2021, 302 f.
32 BGH Urteil vom 15.05.2018 – VI ZR 233/17 – BGHZ 218, 348.
33 BGH Urteil vom 15.05.2018 – VI ZR 233/17 – BGHZ 218, 348, 357.
34 Gola-Gola, DS-GVO Art. 4 Rn. 5; BeckOK DatenschutzR/Schild, DSGVO Art. 4 Rn. 21; Strauß, NZV 2018, 554, 557; allgemein zustimmend zu
Entscheidung bspw. Krämer, NZV 2018, 146; Schmidt, JA 2018, 869.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 15
weils die Identität des Halters des anderen beteilig- Zweck der Steuerung einer Maschine, unabhängig
ten Fahrzeugs durch eine Halterabfrage feststellen von der Persönlichkeit der aufgenommenen Person,
könne.35 Diese zentrale Einschränkung wird vielfach verwendet wird. Hier liegen offensichtlich keine
übersehen. Gefahren für die Persönlichkeit der aufgenomme-
nen Person vor.
Bejaht man den Personenbezug beim Auto, muss
man konsequenterweise annehmen, dass auch c. Automatisierte Bildauswertung
jedes Bildnis eines Wohnhauses ein personenbezo- Bei der personalisierten Werbung im Supermarkt
genes Datum dessen Bewohners und vielleicht so- liegt ein schwieriger Grenzfall vor. Hier wurde durch
gar zugleich dessen Eigentümers darstellt, soweit den Supermarktbetreiber zu keinem Zeitpunkt die
es sich dabei um eine natürliche Person handelt.36 Identität der Person festgestellt noch die Identifizie-
Tatsächlich wird, etwa im Zusammenhang mit rung für Dritte ermöglicht.
Aufnahmen von Google für den in Google Maps
integrierten Dienst Google Street View, verbreitet Dies spricht entscheidend gegen die Annahme
angenommen, dass Aufnahmen von Wohnungen eines Personenbezugs der Aufnahme. Gleichwohl
personenbezogene Daten seien, wenn mit einer mag man intuitiv geneigt sein, den Anwendungs-
Adresse versehen bzw. georeferenziert37 sind38 bereich des Datenschutzrechts als eröffnet anzuse-
hen und folglich das Vorliegen personenbezogener
Je nachdem wie man diesen Aspekt verallgemei- Daten zu bejahen. Dies dürfte auf dem Umstand
nert, wird jedes Bildnis einer Sache, die in irgend- beruhen, dass ein Schutzbedarf offensichtlich
einer rechtlichen Beziehung zu einer Person steht, ist, denn anhand der aus dem Bild ausgelesenen
zum personenbezogenen Datum. Ob eine solche Merkmale der Person (z.B. Geschlecht, ungefähres
Annahme, die offenbar verbreitet ist, wirklich zu- Alter) wurde eine Einschätzung der Person vorge-
trifft, ist eine grundlegende Frage des Datenschutz- nommen, und aus dieser wurden Folgen, nämlich
rechts, die hier nicht erörtert werden kann. die Auswahl der angezeigten Werbung, abgeleitet.
Diese Einschätzung wurde auch Dritten mitgeteilt,
Die Frage nach der Personenbezogenheit von für die die personalisierte Werbung und mittelbar
Bildern von Sachen ist kein Spezifikum von KI-Sys- auch die der Auswahl zugrunde liegende Einschät-
temen. KI-Systeme legen aber den Finger in die zung sichtbar waren.
Wunde des Datenschutzrechts, das um seine
Grenzen, den Anwendungsbereich, nicht so recht Wenn einem Mädchen Werbung für klassische
weiß. Dies gilt insbesondere für die im Fall der Ge- „Jungenartikel“ angezeigt wird, mag dies der
sichtserkennung und der Nutzung der Daten für die betroffenen Person angenehm, vielleicht aber
Steuerung einer Maschine (z.B. eines hochautoma- auch unangenehm sein. Dieser Effekt wird den
tisierten Fahrzeugs) verwendeten Bildaufnahmen Schutzinstinkt des Datenschützers wachrufen. Aus
natürlicher Personen. Hier kommt es darauf an, ob systematischer Sicht ist gleichwohl zu fragen, ob
Bildaufnahmen von natürlichen Personen per se, dieser Aspekt durch das Datenschutzrecht zu lösen
also auch dann, wenn eine Identifizierung im Sinne ist. Persönlichkeitsschutz wird bekanntlich durch
der Feststellung der bürgerlichen Identität der vielfältige Instrumente des Rechts bewirkt, das
Person ausgeschlossen ist, als personenbezogene Datenschutzrecht ist hier nicht alleinzuständig.
Daten zu bezeichnen sind.
Eine abschließende Stellungnahme fällt schwer,
Diese Frage ist meines Erachtens zu verneinen. hierzu bedarf es tiefergehender Untersuchungen.
Wenn etwa die Kamera eines Fahrzeugs mit Par- Es ist aber offensichtlich, dass sich das Daten-
kassistent beim Einparken eine Person aufnimmt, schutzrecht sehr weit von seinem Ursprung
liegt kein personenbezogenes Datum vor, ebenso entfernt, denn das Unbehagen beruht hier nicht auf
wenig, soweit ein hochautomatisiertes Fahrzeug der Erhebung und Verwendung der Bildaufnahme,
Kameraaufnahmen allein zur Steuerung seines wie das Beispiel des Parkassistenten belegt, son-
Fahrverhaltens verwendet. Verallgemeinert geht es dern auf der ausgesendeten Information.
um Fälle, in denen ein Bildnis einer Person nur zum
35 BGH, Urteil vom 15.05.2018 – VI ZR 233/17 – BGHZ 218, 348, 357.
36 Vgl,. in Bezug auf grundstücksgezogene Daten, Arzt, DuD 2000, 204, 206;
37 Gemeint ist die Verknüpfung des Bildes mit einem geografisch definierten Ort der Erdoberfläche.
38 Kühling/Buchner-Klar/Kühling, Art. 4 Nr. 1 Rn. 38.POTENZIALE VON KÜNSTLICHER INTELLIGENZ MIT BLICK AUF DAS DATENSCHUTZRECHT | Seite 16
Die automatisierte Bildauswertung und deren Be- d. Ergebnis
rücksichtigung ist für viele KI-Anwendungen wich- Entsprechend ist zu differenzieren: Bildaufnahmen
tig. So wird man etwa von einem hochautomati- von Personen sind nicht per se personenbezogene
sierten Fahrzeug verlangen, dass es aufgrund der Daten (insbesondere wenn das Gesicht der Person
Merkmale der Person, die sich aus der Auswertung nicht erkennbar ist), weil nicht jede Bildaufnahme
der Kameras ergeben, unterschiedlich reagiert. eine Identifizierung der Person ermöglicht. Eine
Damit ist nicht die Diskussion gemeint, ob ein Identifizierungsmöglichkeit besteht aber sehr
hochautomatisiertes Fahrzeug entscheiden soll, ob häufig. Für die Praxis bedeutet dies, dass Bildauf-
es bei einem unvermeidbaren Unfall eher ein junges nahmen von Personen im Zweifel als personenbe-
Mädchen oder eine alte Frau überfährt, 39 sondern zogene Daten anzusehen sind, soweit nicht nach
die notwendige Frage, ob ein Auto den Umstand Lage der Dinge, insbesondere durch entsprechende
berücksichtigen soll, dass es kleine Kinder auf der technische Vorkehrungen wie im Fall von real, eine
Straße erkennt. Ebenso wie in dieser Situation von Identifizierung ausgeschlossen wird.
menschlichen Fahrern ein spezifisches Verhalten
– erhöhte Vorsicht, ggf. Geschwindigkeitsvermin- 3. RECHTFERTIGUNG DER DATENVERARBEI-
derung – erwartet wird, muss auch beim automa- TUNG DURCH KI-SYSTEME
tisierten Fahren eine entsprechende Reaktion und
folglich auch eine darauf bezogene Bildauswertung Unabhängig von der Reichweite der DSGVO
erfolgen. Ruft dies das Datenschutzrecht auf den bei Bildverarbeitung durch KI-Systeme ist offen-
Plan? Dies ist zu verneinen. Es geht um Sicherheit, sichtlich, dass KI-Systeme in hohem Maße per-
nicht um Persönlichkeit von Personen. sonenbezogene Daten verarbeiten. Dies gilt vor
allem, soweit KI-Systeme gezielt zur Verarbeitung
Die Facebook-Gesichtserkennung wirft eine andere personenbezogener Daten eingesetzt werden, wie
Frage auf, nämlich die, ob Fotos von Personen etwa bei der Nutzung von KI-Systemen zur Identifi-
schon deshalb als personenbezogenes Datum zierung oder zur Bewertung von Personen. Soweit
anzusehen sind, weil die abgebildete Person durch man von personenbezogenen Daten ausgeht,
Nutzung des Dienstes – unterstellt, der Dienst von wenn KI-Systeme personenbezogene Daten für die
Facebook oder ein vergleichbarer Dienst stünde Steuerung ihrer Funktionen nutzen, etwa im Fall
noch zur Verfügung – identifiziert werden kann. des hochautomatisierten Fahrzeugs, stellt sich die
Frage nach der Rechtfertigung ebenso.
Im Unterschied zur vorgenannten Fallgruppe liegen
hier gespeicherte Bildnisse vor, die vom Besitzer Die Notwendigkeit der Rechtfertigung der Daten-
des Bildnisses jedenfalls faktisch frei verwendet verarbeitung ist kein Spezifikum von KI-Systemen.
werden können. In der aktuellen Diskussion wird Gleichwohl zeigt sich hier die besondere Bedeutung
das Vorliegen eines personenbezogenen Datums, des Datenschutzrechts: Wäre die Verarbeitung
soweit erkennbar, bejaht. Die zugrunde liegende personenbezogener Daten schrankenlos zulässig,
Annahme ist zutreffend: Das Foto einer natürlichen könnten dystopische Vorstellungen von KI-Anwen-
Person ist nach allgemeinen Grundsätzen ein per- dungen leichter Realität werden.
sonenbezogenes Datum, soweit seinem Besitzer
eine realistische Möglichkeit zur Identifizierung zur Betrachtet man die in den Rechtfertigungsgründen
Verfügung steht, deren Nutzung keinen unverhält- zu berücksichtigenden Interessen näher, zeigen
nismäßigen Aufwand verursacht. sich Fragen, die für KI-Anwendungen durchaus
typisch sind. Nicht zuletzt kommt es auf die typi-
Ob jedermann eine technische Möglichkeit zur sierten Interessen des Betroffenen an, die etwa im
Verfügung steht, beliebige Fotos von Menschen Rahmen der Abwägung nach Art. 6 Abs. 1 S. 1 lit.
einer konkreten Person zuzuordnen, ist eine andere f) DSGVO zu berücksichtigen sind. Davon sollen
Frage. Angesichts der überaus großen Fortschritte hier zwei zentrale Interessen herausgegriffen wer-
im Bereich der Gesichtserkennung und automati- den, die für die Gesichtserkennung und ebenso für
sierten Gesichtserkennung und der Verfügbarkeit viele KI-Anwendungen von Bedeutung sind: Das
von Diensten wie Google Reverse Image Search Interesse des Betroffenen, dass Abbildungen (Bild,
besteht eine solche Möglichkeit jedenfalls in vielen Ton, Radar etc.) der eigenen Person nicht erzeugt
Fällen. und vor allem nicht gespeichert werden, zum einen
39 Grundlegend zu Dilemmasituationen beim autonomen Fahren Bonnefon/Shariff/Rahwan, 352 Science (2016), 1573 ff. sowie die Implemen-
tierung einer „moral machine“ durch das Massachusetts Institute of Technology (MIT) ist abrufbar https://www.moralmachine.net.Sie können auch lesen
