Verbraucherrechtstage 2021 "Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige Verwendung in Deutschland und Europa?" - Prof. Dr. Dr ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Prof. Dr. Dr. Frauke Rostalski Verbraucherrechtstage 2021 „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige Verwendung in Deutschland und Europa?“
Kurzgutachten
4 Verbraucherrechtstage 2021 „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige
Inhalt
Kurzgutachten ������������������������������������������������������������������������������������������������������������������������������������������� 5
I. Einleitung ����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 5
II. N
ationale KI-Regulierung im Spiegel europäischer und internationaler
Regulierungsbestrebungen ���������������������������������������������������������������������������������������������������������������������������������������������������� 6
III. KI-Systeme als Herausforderung für das Antidiskriminierungsrecht ���������������������������������������������������������� 6
IV. Rechtliche Anforderungen an die Erklärbarkeit und Transparenz von KI-Systemen ��������������������������� 7
V. Rechtliche Anforderungen an die Nachvollziehbarkeit und Überprüfbarkeit von KI-Systemen ������ 7
VI. Verbraucherschutz durch „gute“ Trainingsdaten ����������������������������������������������������������������������������������������������������� 8
VII. Verbraucherschutz durch Normen, Standards und Zertifizierung von KI-Systemen �������������������������� 9
VIII. Exemplarische Verdeutlichung der Herausforderungen von KI-Systemen an das Recht ���������������� 9
1. KI-Systeme in der Finanzdienstleistung �������������������������������������������������������������������������������������������������������������9
2. KI-Systeme im Versicherungswesen������������������������������������������������������������������������������������������������������������������� 10
3. KI-Systeme und Arbeit����������������������������������������������������������������������������������������������������������������������������������������������� 11
4. KI-Systeme und Mobilität����������������������������������������������������������������������������������������������������������������������������������������� 11
5. KI-Systeme in der Medizin��������������������������������������������������������������������������������������������������������������������������������������� 12
6. Einsatz von KI-Systemen in der Justiz���������������������������������������������������������������������������������������������������������������� 12
IX. Rechtsdurchsetzung bei verbrauchergefährdenden KI-Systemen ���������������������������������������������������������������� 13
X. Fazit ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������� 13
Impressum ������������������������������������������������������������������������������������������������������������������������������������������������ 14Verwendung in Deutschland und Europa?“ Verbraucherrechtstage 2021 5
„Künstliche Intelligenz:
Wie gelingt eine vertrauenswürdige
Verwendung in Deutschland und Europa?“
Kurzgutachten Menschen erheblich zu verbessern, indem etwa
neue Behandlungsmethoden oder Medikamente
unter Zuhilfenahme der Technologie entwickelt
werden.
I. Einleitung
Gleichwohl gehen mit KI-Anwendungen im
Die digitale Transformation der Gesellschaft Leben von Verbraucherinnen und Verbrauchern
schreitet voran. In den Fokus rückt dabei ins- auch Risiken einher. Der Blick fällt dabei zum
besondere die Technologie der Künstlichen Beispiel auf den Bereich des Datenschutzes: Da
Intelligenz (KI), die den Lebensalltag von Ver- KI häufig aus Daten „lernt“ und die Menge und
braucherinnen und Verbrauchern mehr und Qualität an verfügbaren Daten nicht selten über
mehr durchdringt. Künstliche Intelligenz ver- die Qualität der Anwendung entscheidet, drohen
steht sich dabei als Technologie, die das Ziel ver- in besonderem Maße Risiken für die informa-
folgt, intelligentes Verhalten, zum Beispiel Wahr- tionelle Selbstbestimmung der oder des Einzel-
nehmen, Schlussfolgern und Entscheiden, zu nen. Künstliche Intelligenz ist indessen aus
automatisieren. Die Technologie begegnet der rechtlicher Sicht kein bloßes Datenschutzthema.
Verbraucherin oder dem Verbraucher nicht nur Aufgrund ihrer spezifischen Eigenschaft des
in ihrem oder seinem eigenen Zuhause (z. B.: „Selbstlernens“, das die Technologie gar zu einer
Steuerung von Beleuchtung und Wärmezufuhr, „Black Box“ machen kann, treten Anforderungen
Sprachassistenten) oder in seiner privaten Kom- an die Transparenz und Nachvollziehbarkeit des
munikation mit anderen, zum Beispiel in sozia- Algorithmus der jeweiligen KI-Anwendung in den
len Medien. Darüber hinaus kommen Systeme Vordergrund. Und nicht erst seit der US-ameri-
der Künstlichen Intelligenz in einer Vielzahl kanischen KI-Anwendung COMPAS (Correctio-
weiterer Lebensbereiche zum Einsatz, die Ver- nal Offender Management Profiling for Alter-
braucherinnen und Verbraucher nahezu täg- native Sanctions), die Richterinnen und Richter
lich betreffen: Bei der Inanspruchnahme von bei der Entscheidung über eine Strafaussetzung
Finanzdienstleistungen, im Versicherungswesen zur Bewährung unterstützt, ist klar, dass Fragen
oder auf dem Arbeitsmarkt – etwa in Gestalt der Diskriminierung im Kontext von Künstlicher
von KI-Systemen, die Auswahlentscheidungen Intelligenz eine hervorgehobene Rolle spielen:
in Bewerbungsprozessen unterstützen oder Je nachdem, welche Daten verwendet und wie
eine Risikobewertung der oder des Versicherten diese bewertet werden, kann die Nutzung des
übernehmen. Die Künstliche Intelligenz ist vor KI-Systems diskriminierende Folgen haben, die
diesem Hintergrund längst im Leben der Ver- von Rechts wegen nicht zu akzeptieren sind. Die
braucherinnen und Verbraucher angekommen. Verbraucherrechtstage 2021 widmen sich vor
Dabei steht die Entwicklung in vielen Bereichen diesem Hintergrund den Herausforderungen
erst am Anfang. Mit alledem gehen zahlreiche der Künstlichen Intelligenz für das Recht in sei-
Vorteile einher: KI-Systeme sind geeignet, den ner ganzen Breite. Eingenommen wird dabei ein
Alltag erheblich zu erleichtern. Nicht zu vergessen wissenschaftlich-reflektierender Blickwinkel, der
ist der Zugewinn an Sicherheit, der zum Beispiel zugleich Fragen der möglichen künftigen Regulie-
durch den Einsatz von KI im Bereich der Mobili- rung und damit der Rechtspolitik adressiert – in
tät erreicht werden kann. In der Medizin kann KI dem Bestreben, auf dem Weg zu einer vertrauens-
dazu beitragen, die Behandlung von würdigen Verwendung von Künstlicher Intelli-6 Verbraucherrechtstage 2021 „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige
genz in Deutschland und Europa einen großen Akzeptanz von Innovationen durch die Gesell-
Schritt voranzukommen. schaft, ohne die es einen entsprechenden Fort-
schritt nicht geben kann.
II. Nationale KI-Regulierung im Dabei finden sich Regulierungsbestrebungen im
Hinblick auf Künstliche Intelligenz nicht ledig-
Spiegel europäischer und lich in Europa. Auch in den USA ist das Thema
internationaler bereits auf die politische Agenda gerückt. Die
Regulierungsbestrebungen US-Regierung hat noch während der Amtszeit
von Präsident Trump Grundsätze veröffentlicht,
die Behörden bei der Ausarbeitung von Gesetzen
Die KI-Regulierung ist keine lediglich nationale und Regeln für den Einsatz Künstlicher Intelli-
Angelegenheit. Sie ist vielmehr eingebettet in ein genz im privaten Sektor berücksichtigen soll-
gesamteuropäisches Vorhaben, das zuletzt Aus- ten. Dabei handelt es sich um die Prinzipien des
druck in einem entsprechenden Vorschlag der öffentlichen Vertrauens, der Transparenz, der
Europäischen Kommission gefunden hat. Darin Fairness, des Risikomanagements, des Fortschritts
wählt die Kommission einen risikobasierten und der Sicherheit. Daneben hat der Kongress
Ansatz, um anhand der Kritikalität der jeweili- dem Weißen Haus die Aufgabe erteilt, eine neue
gen KI-Anwendung zu entscheiden, inwieweit Behörde zu gründen, die sämtliche dieser Schritte
sie rechtlich akzeptabel ist bzw. es zu ihrer lenken soll (National AI Initiative Office). Ins-
Zulässigkeit spezifischer rechtlicher Maßnahmen gesamt erweist sich der US-amerikanische Ansatz
bedarf. Der Kommissionsvorschlag vom 21. April indessen weniger regulierungsfreudig als der
2021 steht in einer Reihe von europäischen europäische.
Regulierungsüberlegungen, die durch die Ein-
richtung einer High Level Expert Group on Arti-
ficial Intelligence ihren Ausgang genommen hat III. KI-Systeme als
und in Deutschland nicht zuletzt durch die Arbeit Herausforderung für das
der Datenethikkommission maßgeblich unter-
stützt wurde. Im Anschluss an ihre Empfehlungen Antidiskriminierungsrecht
wurde von der Kommission ein Whitepaper zur
KI-Regulierung vorgelegt, auf dem der aktuelle Viele KI-Systeme „lernen“ auf der Basis einer
Vorschlag aufbaut und das er zugleich weiter kon- großen Zahl an Daten. Sowohl die Qualität der
kretisiert. Der risikobasierte Ansatz unterscheidet Daten – insbesondere ihre Diversität – als auch
die Stufen des unannehmbaren, des hohen, des der Umgang mit ihnen durch den Menschen,
geringen und des minimalen Risikos. Während an dem der Algorithmus sich orientiert, ent-
unannehmbare Risiken aufgrund des Verstoßes scheiden darüber, ob die Anwendung eine dis-
gegen die Werte der Europäischen Union und die kriminierende Wirkung entfaltet, die von Rechts
Grundrechte verboten werden, gilt für die übri- wegen inakzeptabel ist. Nationales Antidis-
gen Risiken ein gestuftes Verfahren des staat- kriminierungsrecht findet sich derzeit im ein-
lichen Umgangs damit. Nicht zuletzt die Pflich- fachen Recht vor allem im Allgemeinen Gleich-
ten der Anbieter von KI-Systemen mit hohem behandlungsgesetz (AGG). Auch von der DSGVO
Risiko werden in dem Kommissionsvorschlag versprechen sich viele einen zumindest mittel-
klar definiert. Auch Vorschläge zur nationalen baren Schutz vor unzulässiger Diskriminierung.
Rechtsdurchsetzung werden unterbreitet. Dabei
betont die Kommission, dass durch die nunmehr Gleichwohl scheinen die Herausforderungen, die
beabsichtigte verstärkte europäische Regulierung KI-Systeme unter dem Gesichtspunkt der Anti-
des Einsatzes von KI-Anwendungen Innovatio- diskriminierung an das Recht stellen, derzeit
nen nicht gehemmt, sondern ‑ im Gegenteil ‑ nicht angemessen bewältigt. Dies gilt vor allem
gefördert werden: Regulierung schafft Vertrauen im Hinblick auf die Reichweite der bestehenden
– und damit eine Grundvoraussetzung für die Vorschriften, die teilweise als zu eng eingestuftVerwendung in Deutschland und Europa?“ Verbraucherrechtstage 2021 7
wird. Daneben treten Schwierigkeiten der Rechts- die normative Bewertung, die das Recht vornimmt,
durchsetzung. Zwar spricht vieles dafür, der von eine entscheidende Rolle. Sofern beispielsweise
einer Diskriminierung betroffenen Person die in eine Kreditvergabe auf Empfehlung eines KI-Sys-
Richtlinie 2000/78/EG vorgesehene Darlegungs- tems hin abgelehnt wird, stellt sich die Frage, ob
und Beweislasterleichterung zuteilwerden zu las- dies zu Recht erfolgt ist. Mangelnde Transparenz
sen. Indessen erweist sich der Nachweis einer bzw. Erklärbarkeit kann allerdings dazu führen,
ungerechtfertigten Benachteiligung nach wie dass hierauf letztlich keine Antwort gegeben wer-
vor als problematisch, selbst wenn der oder dem den kann. Aufgrund der teilweise hohen Eingriffs-
Betreffenden ein zusätzlicher Auskunftsanspruch intensität von KI-Systemen in Bezug auf Rechte
eingeräumt wird. Das Antidiskriminierungsrecht von Verbraucherinnen und Verbraucher erweist
stellt vor diesem Hintergrund in Bezug auf die sich ein dementsprechendes Maß an Erklärbar-
Künstliche Intelligenz bedeutsame Anforderungen keit als Desiderat, das auch rechtlich zu verlangen
an künftige rechtspolitische Bestrebungen. ist. Dies zeigt sich nicht zuletzt sowohl im zivil-
rechtlichen als auch im strafrechtlichen Kontext
im Hinblick auf den darin oftmals zu führenden
IV. Rechtliche Anforderungen an Nachweis der Kausalität, der durch die Intrans-
die Erklärbarkeit und parenz von KI-Systemen erheblich erschwert
bzw. in Gänze unmöglich gemacht wird. Reform-
Transparenz von KI-Systemen bestrebungen können sich insoweit auf die Sicher-
stellung eines sachgerechten Umfangs an Erklär-
Im Hinblick auf KI-Systeme kann zwischen den barkeit orientiert an die Kritikalität der jewei-
Kriterien der Erklärbarkeit und der Transparenz ligen KI-Anwendung richten. Dabei können
unterschieden werden. Transparenz bedeutet, dass Anforderungen an die Erklärbarkeit und Trans-
das Verhalten der Anwendung vollständig nach- parenz an unterschiedlichen Stellen ansetzen –
vollziehbar ist bzw. gemacht wird. Aus praktischer etwa am Algorithmus selbst oder aber am Design
Sicht erweist sich diese Forderung in Bezug auf der KI-Anwendung. Insoweit beschreibt „Transpa-
KI-Systeme in aller Regel als nur schwer erfüll- rency by Design“ die Forderung nach einer tech-
bar. Grund hierfür ist die hohe Komplexität vieler nischen Entwicklung von KI-Anwendungen, die
Modelle. Demgegenüber kennzeichnet der Begriff intrinsisch erklärend sind.
der Erklärbarkeit die Möglichkeit, für eine konkrete
Einzelentscheidung der jeweiligen KI-Anwendung
die wesentlichen Einflussfaktoren aufzuzeigen. Aus V. Rechtliche Anforderungen an
technischer Sicht liegt die hierfür zu überwindende
Hürde deutlich niedriger als diejenige im Hinblick
die Nachvollziehbarkeit und
auf die Herstellung von Transparenz. Überprüfbarkeit von
KI-Systeme erweisen sich für ihre Anwenderin
KI-Systemen
oder ihren Anwender nicht selten als „Black Box“.
Der Begriff umschreibt den Umstand, dass oftmals Transparenz und Erklärbarkeit stehen in unmittel-
nicht erkennbar ist, wie das System im Einzelfall barem Zusammenhang mit dem Interesse an
zu seiner Entscheidung gekommen ist. Ursäch- Nachvollziehbarkeit und Überprüfbarkeit von
lich dafür ist insbesondere das „Selbstlernen“ des KI-Systemen. Vollständige Transparenz stellt in
Systems, wodurch mitunter Modifikationen und jedem Fall Nachvollziehbarkeit her. Indessen ist
Weiterentwicklungen des Algorithmus erfolgen, Transparenz im Einzelfall nicht erforderlich, um
die selbst für die Entwicklerin oder den Entwickler die Entscheidung eines KI-Systems nachvollzieh-
nicht immer vorhersehbar sind. Zudem sind die bar zu machen. Dabei stellt die Nachvollzieh-
kausalen Ursachen für die eine oder andere Ent- barkeit einen relevanten Faktor im Kontext des
scheidung, die auf der Basis des Algorithmus Schutzes von Verbraucherrechten dar. Sie ist
getroffen wird, auch im Nachhinein oftmals nicht Grundvoraussetzung für die Überprüfbarkeit von
restlos aufzuklären. Indessen spielen Gründe für Entscheidungen, die unter Verwendung eines8 Verbraucherrechtstage 2021 „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige
KI-Systems getroffen worden sind. Zur Erlangung Sofern die Trainingsdaten ein Bias zulasten von
von Kenntnissen, die auf die Nachvollziehbarkeit Frauen und nichtbinären Personen aufweisen,
der jeweiligen Entscheidung gerichtet sind, kann wird sich dies unweigerlich diskriminierend
der datenschutzrechtliche Auskunftsanspruch auf die durch das System empfohlene Auswahl-
gemäß Art. 13 Abs. 2 lit. f i. V. m. Art. 15 Abs. 1 lit. h entscheidung auswirken. Hiermit gehen hohe
DSGVO herangezogen werden. Allerdings kann Gefahren einher – insbesondere dann, wenn die
dieser mit dem rechtlichen Schutz von Geschäfts- für die Empfehlung ursächlichen Faktoren für die
geheimnissen i. S. v. § 2 Nr. 1 GeschGehG in Kon- Systemanwenderin oder den Systemanwender
flikt geraten. Grundsätzlich kann das Auskunfts- intransparent sind. Die Qualität von Trainings
verlangen nur für solche Daten verweigert wer- daten hängt außerdem davon ab, inwieweit sie
den, bei denen das Geheimhaltungsinteresse als rechtliche Vorgaben des Datenschutzes wah-
Recht eines Dritten nach Art. 15 Abs. 4 DSGVO das ren. Sensible, personenbezogene Daten dür-
Auskunftsrecht überwiegt. Auf einer Linie damit fen lediglich unter Wahrung der gesetzlichen
liegt Erwägungsgrund 63 S. 5 zur DSGVO, wonach Bestimmungen zum Einsatz kommen. Zu berück-
das Auskunftsrecht keine Geschäftsgeheim- sichtigen ist dabei insbesondere Art. 9 DSGVO,
nisse beeinträchtigen soll. Für KI-Anwendungen wonach die Verarbeitung besonderer Kategorien
lässt sich hieraus ableiten, dass gegenüber der personenbezogener Daten, etwa die ethnische
oder dem Auskunftsberechtigten lediglich das Herkunft oder die politische Meinung, grund
logische Grundprinzip des Algorithmus dar- sätzlich untersagt ist.
gelegt werden muss, nicht hingegen die exakte
Berechnungsformel. Diese Annahme stützt auch Datenqualität ist damit zugleich rechtlicher
die Entscheidung BGH, Urt. v. 28.01.2014, NJW Datenschutz. Aus rechtlicher Perspektive ist daher
2014, 1235, wonach die Schufa nach § 34 BDSG zunächst zu definieren, was Daten zu „guten
a. F. nicht verpflichtet war, über die genaue Score- Daten“ macht. Der normative Blickwinkel stößt
wertberechnung mit den eingeflossenen Rechen- allerdings unter Umständen in bestimmten
größen Auskunft zu erteilen, da auch Rechen- Bereichen an die Grenzen des real Umsetz-
größen als Geschäftsgeheimnis einzustufen seien. baren. Nicht immer sind Daten in der rechtlich
Indessen kann sich dies als erhebliches Hindernis wünschenswerten Qualität in hinreichender Zahl
im Hinblick auf die Rechtsdurchsetzung von Ver- vorhanden. Datenanonymisierung führt nicht
braucherinnen und Verbrauchern erweisen, wes- selten dazu, dass viele für den Lernprozess rele-
halb fraglich ist, ob künftige KI-Regulierung inso- vante Daten verloren gehen. Selbst synthetische
weit auf eine Stärkung von Auskunftsverlangen Daten vermögen diese Lücke regelmäßig nicht zu
– notfalls durch prozessuale Instrumente – schließen, zumal ein sinnvolles Machine Learning
gerichtet sein sollte. voraussetzt, dass die synthetischen Daten mit
den Ausgangsdaten eine hinreichende Überein-
stimmung aufweisen. Damit ist das identische
VI. Verbraucherschutz durch Problem des Datenschutzes lediglich in einem
„anderen Gewande“ erneut gegeben. Auch diese
„gute“ Trainingsdaten Schwierigkeit ist normativ zu beantworten: Soll
bei minderer Datenqualität unter Umständen in
Die Qualität der Trainingsdaten entscheidet Gänze auf eine KI-Anwendung verzichtet wer-
über die tatsächliche und rechtliche Qualität des den oder nehmen wir Einschnitte in der Daten-
gesamten KI-Systems. Werden die Trainingsdaten qualität zugunsten der Durchführbarkeit eines
beispielsweise lediglich einseitig ausgewählt, kann bestimmten KI-Systems hin? Eine mögliche tech-
dies zu Verzerrungen führen, die im Zweifel sogar nische Antwort kann im Verfahren des Federa-
diskriminierende Folgen nach sich ziehen. Ein ted Machine Learning liegen. Darin findet das
Beispiel liefern KI-Anwendungen, die im Kontext Training der KI dezentral statt, etwa auf Smart-
von Bewerbungsverfahren zum Einsatz kommen. phones verschiedener Personen. Die lokalenVerwendung in Deutschland und Europa?“ Verbraucherrechtstage 2021 9
Modelle werden sodann in einem übergeordneten Datenschutz, die Transparenz und Erklärbarkeit
Modell zusammengeführt, das die dezentral bzw. Sicherheit des KI-Systems bürgen.
gesammelten Informationen infolge einer Ver-
schlüsselung nicht erfährt. Der Vorteil des Ver- Erste Schritte in Richtung einer Regulierung
fahrens liegt darin, dass die personenbezogenen im Bereich von Normen, Standards und Zerti-
Daten zu keinem Zeitpunkt vom dezentralen fizierung sind national bereits beschritten. In
Sammelort getrennt werden und stets nur die der Deutschen Normungsroadmap Künstliche
infolge der Anonymisierung datenschutzrecht- Intelligenz erfolgt beispielsweise eine umfang-
lich unbedenklichen Modelle übermittelt werden. reiche Analyse des Bestandes und Bedarfs an
Es bleibt allerdings offen, ob sich damit sämtliche internationalen Normen und Standards für
datenschutzrechtlichen Probleme abschließend die KI-Technologie. Umfasst sind davon neben
lösen lassen. technischen auch ethische und gesellschaft-
liche Anforderungen an Normen für KI. Zudem
bestehen mehrere nationale Zertifizierungs-
VII. Verbraucherschutz durch initiativen, die in den nächsten Jahren konkrete
Normen, Standards und Ergebnisse erwarten lassen. Die Entwicklung steht
gleichwohl noch am Anfang. Es lohnt daher, ins-
Zertifizierung von KI-Systemen besondere aus Sicht des Verbraucherschutzes
einen (nicht zuletzt rechtspolitischen) Blick auf
Für den Alltag von Verbraucherinnen und Ver- die notwendigen Anforderungen an Normen,
brauchern halten KI-Systeme in großem Umfang Standards und Verfahren der Zertifizierung zu
Erleichterungen und Verbesserungen bereit. Diese werfen. Dabei geht es gerade auch darum, zu fra-
Chancen werden allerdings durch Risiken flan- gen, wie die Interessen von Verbraucherinnen und
kiert, die in der Wahrnehmung vieler nach wie Verbrauchern im Verfahren der Standardisierung
vor dominieren und auf diese Weise ein Miss- angemessene Berücksichtigung finden können.
trauen gegenüber der Technologie begründen.
Ein solches Misstrauen kann allerdings dazu
führen, dass selbst für Verbraucherinnen und VIII. Exemplarische
Verbraucher besonders vorteilhafte KI-An-
wendungen keinen Einzug in ihre Lebenswirk-
Verdeutlichung der
lichkeit halten können – es erweist sich damit Herausforderungen von KI-
als Hemmnis für sowohl den Fortschritt als auch Systemen an das Recht
die Verbesserung von Lebensumständen der Ver-
braucherinnen und Verbraucher.
Die bislang abstrakt beschriebenen Heraus-
Dieser Entwicklung können Normen, Standards forderungen, die KI-Systeme an die Rechts-
sowie Verfahren der Zertifizierung entgegen- ordnung stellen, zeigen sich in einer Viel-
wirken. Sie schaffen klare Vorgaben, die bei der zahl unterschiedlicher Lebensbereiche. Die
Entwicklung von KI-Systemen und ihrem Einsatz Bewältigung der damit einhergehenden regu-
Berücksichtigung finden müssen. Ihre Einhaltung latorischen Aufgaben erweist sich als besonders
schafft Vertrauen, indem die Verbraucherin oder bedeutsam im Hinblick auf diejenigen KI-An-
der Verbraucher eine klare Vorstellung von dem wendungen, die mit erheblicher Intensität in die
jeweiligen KI-System erlangt, mit dem sie oder Rechte von Verbraucherinnen und Verbrauchern
er sich umgibt. Zertifikate ermöglichen dabei eingreifen. Hierzu gehört zum Beispiel der Einsatz
eine Selbstermächtigung von Verbraucherinnen von KI innerhalb der Finanzdienstleistung, des Ver-
und Verbrauchern im Hinblick auf das zerti- sicherungswesens, des Arbeitsmarkts, der Mobilität,
fizierte Produkt, indem sie für einen bestimmten der Medizin und des Zugangs zum Recht.
Qualitätsstandard in Bezug auf Kriterien wie den10 Verbraucherrechtstage 2021 „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige
1. KI-Systeme in der Finanzdienstleistung mit dem darauf gerichteten Geheimhaltungs-
interesse der Betreiberin oder des Betreibers in
KI-Systeme prägen zunehmend die Abläufe der Konflikt geraten. Nicht zuletzt ist sicherzustellen,
Finanzdienstleistung. Zu denken ist etwa an Ver- dass Robo-Advisors den Verhaltensregeln der
fahren des Kreditscorings und des Robo-Advi- §§ 63 ff. WpHG entsprechen. Die Überprüfung
sings. Kreditscoring umschreibt eine algorithmen- dieser Anforderung wirft wiederum praktische
basierte Kreditwürdigkeitsprüfung. Hiermit Schwierigkeiten auf, denen ggf. durch rechtliche
gehen prinzipiell Risiken für Rechte von Ver- Regulierung begegnet werden muss.
braucherinnen und Verbrauchern einher. Fehl-
entscheidungen können erhebliche Folgen für die 2. KI-Systeme im Versicherungswesen
Einzelne oder den Einzelnen haben. Dabei kön-
nen Fehler insbesondere daraus erwachsen, dass Im Versicherungswesen finden KI-Systeme bereits
die Trainingsdaten der KI-Anwendung mit einem in vielfacher Weise Verwendung. In den Vorder-
Bias behaftet sind, was zu ungerechtfertigten Dis- grund rückt dabei zunächst solche algorithmen-
kriminierungen Einzelner führen kann. Recht- gesteuerte Software, die zur Einschätzung von
liche Rahmenbedingungen für das Kreditscoring Risiken herangezogen wird, auf deren Basis eine
ergeben sich insbesondere aus § 31 Abs. 1 Nr. 2 automatische Prämienkalkulation erfolgt. Dane-
BDSG, wonach Scoring nur dann zulässig ist, wenn ben treten Verfahren des „Smart Underwriting“.
„die zur Berechnung des Wahrscheinlichkeits- Diese umfassen zum Beispiel die Auswahl von
werts genutzten Daten unter Zugrundelegung Fragen für einen Vertragsabschluss – etwa basie-
eines wissenschaftlich anerkannten mathema- rend auf einem Foto des zu versichernden Objekts
tisch-statistischen Verfahrens nachweisbar für die – sowie die sofortige Angebotserstellung unter
Berechnung des bestimmten Verhaltens erheb- Rückgriff auf bereits von der Kundin oder dem
lich sind“. Problematisch hieran erscheint ins- Kunden gespeicherten Daten („Smart Question-
besondere, dass das Wissenschaftlichkeitserforder- naire“). Das „Smart Underwriting“ kennzeichnet
nis gerade keinen Qualitätsstandard etabliert. Im ferner die Zusammenfassung von branchen-
Kontext des Kreditscorings werden Forderungen relevanten Texten und insbesondere Gesetzen,
nach strengeren Regularien und Maßstäben für das auf die die menschliche Underwriterin oder
Prognosesystem immer lauter. Um sachgerecht vor der menschliche Underwriter hingewiesen wird.
Diskriminierung zu schützen, sind außerdem Aus- Nicht zuletzt wird KI in diesem Zusammenhang
kunfts- und Verständlichkeitsansprüche von Ver- zur Minimierung von Betrugsgefahren durch
braucherinnen und Verbrauchern, etwa nach der den Abgleich von Daten und durch Plausibilitäts-
DSGVO, ein weiteres Desiderat. kontrollen eingesetzt. Verwendet werden dabei
neben Schadensbildern und dem geschilderten
Robo-Advising umschreibt die algorithmen- Schadenshergang gerade auch Auffälligkeiten
gesteuerte Erstellung eines Portfolios ent- der Kundin oder des Kunden in der Vergangen-
sprechend der gewünschten Anlagestrategie. heit. Teilweise kommt es dabei zur Einbeziehung
Darüber hinaus können davon der Erwerb und externer Datenbanken, etwa des Wetterdienstes
die Strukturierung eines Portfolios und seine etc. Nicht zuletzt wird KI im Versicherungswesen
fortlaufende Umschichtung erfasst sein. Der- zur Kommunikationsverwaltung verwendet. Hier
zeit ist Robo-Advising allein durch Finanzdienst- dient die algorithmenbasierte Software zum Bei-
leister, nicht unmittelbar durch Anlegerinnen und spiel der Kategorisierung von Kundenanfragen, der
Anleger nutzbar. Risiken für den Verbraucher- Beratung durch Chatbots bei einfach gelagerten
schutz liegen dabei insbesondere in dem häu- Fragestellungen oder der Schadensmeldung.
fig bestehenden Informationsdefizit im Hin-
blick auf die Funktionsweise des Robo-Advisors. Aus rechtlicher Perspektive wirft der
Der Wunsch nach Transparenz und damit der beschriebene Einsatz von KI im Versicherungs-
Offenlegung des Algorithmus kann allerdings wesen eine Vielzahl an Fragen auf. Diese betreffenVerwendung in Deutschland und Europa?“ Verbraucherrechtstage 2021 11
zum einen den Datenschutz. Kommt es zum Seltenheit mehr. Ein Beispiel liefert eine KI-Soft-
Austausch hochsensibler Daten, ist eine Ano- ware, die der österreichische Arbeitsmarktservice
nymisierung erforderlich. Damit keine Fehler einsetzt, um Arbeitsmarktchancen arbeitsloser Per-
zulasten der Kundin oder des Kunden auftreten, sonen zu bewerten. Die Empfehlungen des KI-Sys-
muss außerdem eine durchgehend hohe Daten- tems fließen zum Beispiel bei der Frage ein, ob eine
qualität sichergestellt werden. Nur so können arbeitslose Person seitens des Arbeitsmarktservice
die Daten umfassend ausgewertet werden. Zum eine Finanzierung für eine Weiterbildung erhält.
anderen ist unter dem Blickwinkel des Dis- Neben dem Arbeits- und Gesundheitsschutz spie-
kriminierungsverbots des AGG (z. B. § 20 Abs. 2 len KI-Systeme im Bereich der Arbeit aus recht-
AGG) darauf zu achten, dass die KI darauf trainiert licher Perspektive eine Rolle im Hinblick auf die
wird, bestimmte Daten unberücksichtigt zu las- Frage der Vermeidung ungerechtfertigter Dis-
sen, auch wenn diese tatsächlich risikoerhöhend kriminierung und der Haftung für Fehler des Sys-
sind. Weil die konkrete Höhe der errechneten Prä- tems. Das in Österreich durch den Arbeitsmarkt-
mie für die Kundin oder den Kunden von erheb- service zum Einsatz kommende algorithmische
licher Relevanz ist, stellen sich auch insoweit Fra- Entscheidungssystem stützt sich unter anderem
gen nach Verbraucherrechten im Hinblick auf auf Daten zu Beruf, Ausbildung und bisherigen
die Nachvollziehbarkeit und Überprüfbarkeit des Anstellungen, daneben aber etwa auch auf solche,
zugrunde liegenden Algorithmus. In Bezug auf die das Alter, das Geschlecht oder die Nationalität
„Smart Underwriting“-Verfahren müssen außer- der oder des Arbeitsuchenden betreffen. Zugleich
dem die Vorgaben von Art. 22 DSGVO und § 37 ist die Verwendung des Algorithmus geeignet,
BDSG gewahrt werden. Schwierigkeiten werfen erheblichen Einfluss auf die Entscheidungen von
dabei insbesondere Fragen danach auf, ab wel- Mitarbeiterinnen und Mitarbeitern des Arbeits-
chem Punkt die KI den Vorgang an eine mensch- marktservice zu nehmen. Insoweit besteht nicht
liche Sachbearbeiterin oder einen menschlichen zuletzt das Risiko, dass durch das System getroffene
Sachbearbeiter abgeben muss bzw. welche Ver- Vorschläge unhinterfragt übernommen werden –
träge ausschließlich elektronisch geschlossen selbst wenn diese zum Beispiel diskriminierendes
werden dürfen. Nicht zuletzt stellen algorithmen- Potenzial aufweisen.
basierte Systeme im Versicherungswesen die
Versicherungsaufsicht (§§ 43, 294 VAG i. V. m. 4. KI-Systeme und Mobilität
Art. 22 DSGVO) vor Herausforderungen: Zu klä-
ren ist etwa, ob sich diese künftig auch auf die Der breiten Öffentlichkeit sind KI-Systeme oft-
Berechnungsformel des verwendeten Algorith- mals in erster Linie aus dem Kontext des auto-
mus bzw. den Lernprozess erstreckt. nomen Fahrens bekannt. Darüber hinaus kann
sich KI allerdings als Schlüsseltechnologie in
3. KI-Systeme und Arbeit der Mobilität der Zukunft erweisen. Neben
zunehmend autonom gesteuerte Fahrzeuge
KI-Systeme spielen immer häufiger eine Rolle tritt dabei eine Infrastruktur mit erhöhtem Ver-
beim Zugang von Verbraucherinnen und Ver- netzungsgrad und selbstlernenden Systemen,
brauchern zum Arbeitsmarkt. Eingesetzt werden die Verkehrsflüsse optimieren und zur Verkehrs-
sie sowohl durch Akteurinnen und Akteure in sicherheit beitragen. Eine Rolle spielen dabei zum
der Wirtschaft, die beispielsweise Auswahlent- Beispiel „intelligente“ Sensoriksysteme, die Fahr-
scheidungen in Bewerbungsverfahren auf der zeuge miteinander und mit ihrer übrigen Umwelt
Basis von Empfehlungen treffen, die ihnen ein vernetzen. Kommt es aber im Zusammenhang
Algorithmus liefert. Hinzu treten KI-basierte Mit- mit dem Einsatz von KI-Systemen im Bereich der
arbeiteranalysen, die für innerbetriebliche Ent- Mobilität zu Verletzungen von Personen, wirft
scheidungsprozesse herangezogen werden. Doch dies aus rechtlicher Sicht nicht zuletzt Fragen der
auch im öffentlichen Sektor ist die Verwendung Verantwortlichkeit auf. Wer ist verantwortlich –
von Entscheidungsunterstützungssoftware keine Mensch oder Maschine? Während die einen Kon-12 Verbraucherrechtstage 2021 „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige
zepte der e-Person diskutieren, denken andere 6. Einsatz von KI-Systemen in der Justiz
über eine Modifikation des Verantwortungs-
begriffs nach, die es auch zuließe, den Menschen Der Zugang zum Recht ist nicht selten durch
für Ereignisse haftbar zu machen, die er – auf- Hürden verstellt, die Verbraucherinnen und Ver-
grund des Black Box-Charakters der KI – gerade braucher von einer effektiven Rechtsdurch-
nicht vorhersehen konnte. In Abhängigkeit davon, setzung abhalten. Zu denken ist etwa an mitunter
wie diese Fragen beantwortet werden, ist auch hohe Verfahrenskosten sowie die Schwierigkeit,
darüber zu entscheiden, welche Autonomiegrade die Aussicht auf Erfolg innerhalb des Rechts-
von Fahrzeugen als zulässig beurteilt werden. wegs selbst adäquat einschätzen zu können. Eine
Hilfe bietet hierbei die Künstliche Intelligenz, die
5. KI-Systeme in der Medizin bereits heute in einer Vielzahl von Anwendungen
einen Zugang zum Recht gewährt. Dabei sind
Ein großes Anwendungsfeld für KI-Systeme lie- prinzipiell zwei Einsatzformen von KI denkbar:
fert die Medizin. KI-Systeme dienen hierbei als eine unterstützende sowie eine ersetzende im
Entscheidungsunterstützungssysteme, zum Bei- Hinblick auf die menschliche Rechtsberatung.
spiel bei der Früherkennung von Krankheiten. Beispiele für den unterstützenden Einsatz von KI
Neben der Diagnose kommen sie auch in der liefern Online-Informationssysteme für Rechts-
Behandlung von Patientinnen und Patienten zum suchende oder Aktenorganisationsprogramme.
Einsatz. KI-Systeme ermöglichen eine höhere Entsprechende Technologien verringern den Zeit-
Personalisierung von Behandlungsplänen und bedarf bei der Bearbeitung einzelner Fälle und
sogar spezifischen Behandlungsmethoden, etwa können damit Rechtsberatung günstiger machen,
Verfahren der Genomeditierung. Neben Ver- weshalb sie verbreitet befürwortet werden. Aller-
antwortungsfragen und dem Datenschutz stellt dings können auch lediglich unterstützende
sich aus rechtlicher Perspektive im Kontext der KI-Systeme rechtliche Schwierigkeiten auf-
Medizin das Problem, wie menschliche Fähig- werfen, sofern sie die Entscheidung der Rechts-
keiten aufrechterhalten und verbessert werden anwenderin oder des Rechtsanwenders beein-
können, sofern die Praxis zunehmend durch tech- flussen. Zu denken ist etwa an Verfahren der
nische Systeme geprägt ist. Wenn auf KI basie- Predictive Justice, die den Ausgang von Gerichts-
rende Diagnosewerkzeuge teilweise mit einer entscheidungen prognostizieren. Werden sie
höheren Wahrscheinlichkeit ein richtiges Ergeb- durch Richterinnen und Richter eingesetzt, kann
nis erzielen als der Mensch, besteht das Risiko, dies ihre Entscheidungsfreiheit beeinträchtigen,
dass ihr Einsatz über die Dauer der Zeit dazu was den Einzelfall und die Rechte der Beteiligten
führt, dass der Mensch seine eigenen Fähig- aus dem Blick geraten lassen kann. Als ebenso
keiten immer mehr verliert – etwa weil er sich problematisch haben sich Verfahren der Unter-
zunehmend „blind“ auf die Technik verlässt und stützung von Bewährungsentscheidungen im
damit praktische Anwendungsmöglichkeiten ver- Strafrecht erwiesen, sofern sie wie das US-ame-
streichen lässt. Gesellschaftlich erweist sich dies rikanische System COMPAS auf einem Bias
nicht zuletzt aus dem Grund als problematisch, beruhen.
als Fortschritt darauf fußt, dass Menschen ihre
eigenen Fähigkeiten immer weiter verbessern. Besonders kritisch sind aus rechtlicher Perspek-
Darüber hinaus stellen neue, durch KI-Systeme tive solche KI-Systeme, durch die menschliche
erlangte Möglichkeiten medizinischer Verfahren, Rechtsanwenderinnen und Rechtsanwender teil-
etwa die Genomeditierung, bestehende Gesetze weise oder vollständig ersetzt werden. Sofern
infrage. Diese weisen mitunter Lücken auf, da ent- dies angesichts der Schwierigkeiten der Forma-
sprechende Technologien bislang nicht bedacht lisierung der Rechtssprache überhaupt mög-
wurden. Sofern sie bereits erfasst und zum Bei- lich ist, stoßen entsprechende Bestrebungen
spiel verboten sind, stellt sich angesichts des auf erhebliche Bedenken, die beispielsweise
Fortschritts die Frage nach der verbleibenden die Transparenz der KI-Systeme betreffen. Das
Berechtigung entsprechender Normen. Rechtssystem beruht auf dem Austausch und der
Vermittlung von Gründen für spezifische Frei-
heitseinschränkungen. Sofern ein KI-SystemVerwendung in Deutschland und Europa?“ Verbraucherrechtstage 2021 13
diese Eigenschaft nicht aufweist, vielmehr eine
Blackbox darstellt, entspricht es gerade nicht den X. Fazit
Anforderungen, die an die Rechtsanwendung zu
stellen sind. KI-Systeme bergen für Verbraucherinnen und
Verbraucher eine Vielzahl an Chancen, aber auch
Risiken. Aus diesem Grund erweisen sich KI-Sys-
IX. Rechtsdurchsetzung bei teme auch als notwendiger Gegenstand von Regu-
lierung. In vielen Bereichen des Rechts sind inso-
verbrauchergefährdenden KI- weit noch Fragen offen. Die Verbraucherrechts-
Systemen tage 2021 schaffen vor diesem Hintergrund ein
Problembewusstsein in Bezug auf die Notwendig-
Ist es infolge des Einsatzes eines KI-Systems zu keit künftiger Regulierung und liefern erste Vor-
Verletzungen der Rechte von Verbraucherinnen schläge zu ihrer Umsetzung.
und Verbrauchern gekommen, bedarf es der
effektiven Rechtsdurchsetzung. Ein Instrument
können hierbei Verbandsklagen bieten, die bereits
aus anderem Kontext bekannt sind. Sie eignen
sich für die Rechtsdurchsetzung in Bezug auf ver-
brauchergefährdende KI-Systeme in besonderer
Weise, weil durch entsprechende Anwendungen
in aller Regel eine größere Zahl an Ver-
braucherinnen und Verbrauchern betroffen ist.
Das Institut der Verbandsklage hat zuletzt durch
die Verbandsklagen-Richtlinie (EU) 2020/1828
eine erhebliche Stärkung erfahren. Neben die pri-
vate Rechtsdurchsetzung tritt die öffentliche. Eine
wesentliche Bedeutung kommt dabei behörd-
lichen Zulassungsverfahren zu. Anders als Ver-
fahren der Zertifizierung beruhen diese nicht auf
der Freiwilligkeit des Herstellers eines KI-Sys-
tems, sondern sind verpflichtend. Bei erheblich
eingriffsintensiven Anwendungen erweist sich
dies als angemessen, um die Rechte und Interes-
sen von Verbraucherinnen und Verbrauchern zu
schützen. Zulassungsverfahren können außerdem
durch weitere Instrumente der behördlichen Auf-
sicht flankiert werden, die den weiteren Betrieb
des KI-Systems begleiten.Impressum
Kontakt
Referat V A 3 Referat V B 1
Verbraucherforschung; Digitale Strategie; Grund-
Verbraucherbildung satzfragen der Informa-
tionsgesellschaft
Bundesministerium der Justiz
und für Verbraucherschutz
Mohrenstraße 37
10117 Berlin
Telefon: 030 18 5800
E-mail: poststelle@bmjv.bund.deSie können auch lesen
