Künstliche Intelligenz und Recht im Kontext von Industrie 4.0 - ERGEBNISPAPIER
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
ERGEBNISPAPIER Künstliche Intelligenz und Recht im Kontext von Industrie 4.0
Impressum Herausgeber Bundesministerium für Wirtschaft und Energie (BMWi) Öffentlichkeitsarbeit 11019 Berlin www.bmwi.de Redaktionelle Verantwortung Plattform Industrie 4.0 Bertolt-Brecht-Platz 3 10117 Berlin Gestaltung PRpetuum GmbH, 80801 München Stand April 2019 Bildnachweis sdecoret – Adobe Stock (Titel), Patra Kongsirimongkolchai / EyeEm – Getty Images (S. 5), Photographer is my life. – Getty Images (S. 8, S. 20), Andriy Onufriyenko – Getty Images (S. 11), Yuichiro Chino – Getty Images (S. 14, S. 31), Westend61 – Getty Images (S. 17), BlackJack3D – Getty Images (S. 24), Caiaimage/Robert Daly – Getty Images (S. 28) Diese und weitere Broschüren erhalten Sie bei: Bundesministerium für Wirtschaft und Energie Referat Öffentlichkeitsarbeit E-Mail: publikationen@bundesregierung.de www.bmwi.de Zentraler Bestellservice: Telefon: 030 182722721 Bestellfax: 030 18102722721 Diese Publikation wird vom Bundesministerium für Wirtschaft und Energie im Rahmen der Öffentlichkeitsarbeit herausgegeben. Die Publikation wird kostenlos abgegeben und ist nicht zum Verkauf bestimmt. Sie darf weder von Parteien noch von Wahlwerbern oder Wahlhelfern während eines Wahlkampfes zum Zwecke der Wahl werbung verwendet werden. Dies gilt für Bundestags-, Landtags- und Kommunalwahlen sowie für Wahlen zum Europäischen Parlament.
2 Inhalt Einführung: Worum geht es? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Künstliche Intelligenz und Rechtspersönlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Künstliche Intelligenz und Datenzugang sowie -schutz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Haftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 KI-generiertes IP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Arbeitsrecht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 IT-Sicherheit und KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3
Einführung: Worum geht es?
Künstliche Intelligenz (KI oder Artificial Intelligence, AI)
bezeichnet „Systeme, die intelligentes Verhalten zeigen, Der Begriff „Künstliche Intelligenz“ wurde
indem sie ihre Umgebung analysieren und – mit einem im Jahr 1956 von dem amerikanischen Infor
gewissen Grad an Autonomie – Maßnahmen ergreifen, matiker John McCarthy erfunden. Er beschrieb
um bestimmte Ziele zu erreichen. KI-basierte Systeme KI als ein Teilgebiet der Informatik, welches
können rein softwarebasiert sein, in der virtuellen Welt
sich mit der Erforschung von Mechanismen
agieren (z. B. Sprachassistenten, Bildanalysesoftware, Such-
maschinen, Sprach- und Gesichtserkennungssysteme) des intelligenten menschlichen Verhaltens
oder KI kann in Hardwaregeräte eingebettet sein (z. B. fort- befasst, wobei er insbesondere die Simulation
geschrittene Roboter, autonome Fahrzeuge, Drohnen oder von Spielsituationen mit Hilfe von Computer
Internet of Things-Anwendungen).“ 1 programmen auf einer Rechenmaschine im
Auge hatte.
KI-Systeme versuchen die kognitiven Fähigkeiten des
Menschen durch Algorithmen nachzubilden. Algorithmen
sind – einfach gesprochen – mathematische Handlungsan- KI“ zeichnet sich also dadurch aus, dass sie die anfänglich
weisungen (Steuerungsbefehle), die dafür sorgen, dass ein noch existierende Determiniertheit verlässt.
Daten-Input in einen Daten-Output transformiert wird.
Zum besseren Verständnis des Begriffspaares „schwache KI“
Dabei können die Handlungsanweisungen einerseits so aus vs. „starke KI“ mag ein kleines Beispiel aus der Fabrikplanung
gestaltet sein, dass der Algorithmus dazu auffordert, eine und -steuerung dienen:3
Datenressource auf der Basis von eindeutig und endlich vor
gegebenen Handlungsschritten nach Mustern und Zusam- In digitalisierten und vernetzten Fabriken kennen die dort
menhängen zu durchforsten und auszuwerten, um ein ganz implementierten Systeme (Maschinen, Mensch-Maschine-
bestimmtes Ziel zu erreichen bzw. ein bestimmtes Anwen- Hybride, Roboter-Systeme) schon heute ihre Fähigkeiten
dungsproblem zu lösen. Diese Form der KI, die sich im Rah- und Ziele. Sie sind in der Lage, ohne eine zentrale Instanz
men der durch die Programmierung gesetzten Grenzen be selbständig mit ihrer Umwelt zu interagieren. Eine Produk-
wegt, bezeichnet man als „schwache KI“. Die Systeme sind tionsmaschine ermittelt direkt oder auf der Grundlage einer
geschlossen und haben zumeist unterstützenden Charakter Big-Data-Analyse die Kundenwünsche, sie weiß, wo sie das
(z. B. automatisierte Diagnoseverfahren in der Medizin, Sprach- Werkstück bestellen kann, interagiert mit Dienstleistern
und Gesichtserkennungssysteme, Aktienmarktanalysen). oder Zulieferern über IT- und Cloud-Systeme und lotst die
Zulieferteile alleine durch die Weitergabe von Algorithmen
Davon zu unterscheiden ist die sog. „starke KI“. Sie wird zwar über sensorgestützte Transport-, Abnahme- und Logistik-
noch durch einen Programmbefehl in Gang gesetzt, entwi- einheiten zur Weiterverarbeitung an die richtige Stelle in
ckelt sich allerdings nach einer maschinellen Anlern- und der Fabrik. Es handelt sich dabei um sog. selbstregelnde
Trainingsphase selbständig weiter. Unter Einsatz der Maschinen und Systeme, die sowohl vertikal (also innerhalb
Methoden des Deep Learnings oder der künstlichen neuro- des Unternehmens) als auch horizontal (über die Unter-
nalen Netze erlangt sie kognitive Fähigkeiten und, da weder nehmensgrenzen hinweg) miteinander verbunden sind.
das Ziel noch die Lösungsalternativen vorgegeben sind, Ein gutes Beispiel bilden robotergestützte Abfüllkonzepte
setzt sie eigene Kausalverläufe in Gang. Sie durchsucht bei- für die individualisierte Getränkeherstellung in der Brau-
spielsweise verfügbare Datenressourcen nach neuen wirtschaft. Dabei holt die Abfüllmaschine im Online-Kun-
Erkenntnissen und verändert darauf aufbauend selbständig denportal einer Brauerei den Auftrag des Kunden selbstän-
ihren ursprünglichen Algorithmus weiter. Die getroffenen dig ein, anschließend ruft sie die für das gewünschte
Entscheidungen sind nicht mehr das abstrakt vorherbe- Mischverhältnis erforderlichen Produktzutaten ab, beauf-
stimmte Produkt einer eindeutigen Programmierung, son- tragt das flexible Füllsystem mit dem Mischen der Getränke
dern das Ergebnis eines autonomen Prozesses.2 Die „starke und veranlasst anschließend die autonom arbeitenden
1 Kommission der Europäischen Union, High-Level Expert Group on Artificial Intelligence, 18.12.2018.
2 Ernst, JZ 2017, S. 1026, 1027.
3 Gesmann-Nuissl, InTeR 2018, Editorial.
4 EINFÜHRUNG: WORUM GEHT ES?
Produktionsmodule wie den Rinser, Füller, Verschließer und Sobald die Maschinen und Systeme – z. B. die Abfüllanlage –
Etikettierer selbsttätig zur Aktion, bis das verkaufsfähige losgelöst von einem ursprünglichen Programmbefehl auf der
Produkt entstanden ist. Gehen die Zutaten, Flaschenteile Basis massenhaft verfügbarer und selbständig erhobener
oder Etiketten zur Neige, bestellt die Maschine selbsttätig Daten und unter Inanspruchnahme ihrer zuvor im Wege
nach und löst die erforderlichen logistischen Prozesse aus. des maschinellen Lernens antrainierten Fähigkeiten ganz
Auch Wartungsaufträge kann die Maschine selbständig eigene Entscheidungen treffen können, die sie in die Lage
erteilen – sie agiert dabei über sensorgesteuerte cyber-phy- versetzen, nicht nur aus den vorgegebenen Handlungs
sische Systeme. Dabei sind die Entscheidungsoptionen der alternativen die geeignete Option selbst auszuwählen
Maschine in eindeutig und endlich definierten Handlungs- („sauer“ = Zitrone oder Limette), sondern eigenständig voll-
schritten durch Algorithmen vorgegeben. In naher Zukunft kommen neue Geschmacksrichtungen zu kreieren, die
werden diese dezentral interagierenden Einheiten die pro- zuvor eben nicht von menschlicher Hand zur Auswahl
duktrelevanten Komponenten, Zusammensetzungen oder angelegt waren, handelt es sich um sog. selbstlernende
prozessrelevante Transport- und Auslieferungswege selb- Maschinen. Wenn sie sich neben dem Ermitteln menschlicher
ständig innerhalb der Wertschöpfungskette optimieren Neigungen obendrein selbständig um die erforderlichen Roh
können (sog. selbstoptimierende Maschine). Sofern wir bei stoffe kümmert, Maschineneinstellungen und -steuerungs-
dem Beispiel der Abfüllanlage bleiben, können die Systeme vorgänge selbständig ändert und den Herstellungsprozess
nun die Zutaten verändern, sprich anstatt Zitronen jetzt autonom anleitet und überwacht, gegebenenfalls regelnd
Limetten bestellen, wenn bei der im Hintergrund ablaufen- eingreift, hat man es mit einer „starken KI“ zu tun. Die Arte-
den Analyse der Kundenwünsche und -daten festgestellt fakte sind dann der menschlichen Steuerung entzogen – sie
würde, dass sich deren Neigungen in Richtung „sauer“ setzen ihre eigenen Kausalverläufe in Gang, bestimmen
bewegen und der Steuerungsbefehl ein Entscheidungs Arbeitsinhalte und Funktionsweisen nach eigenem Ermes-
muster „Limette“ zur Auswahl stellt.4 Bei beiden System sen – auch arbeitsteilig sowie betriebsübergreifend – und
varianten handelt es sich um eine Weiterentwicklung der übernehmen die abschließende Qualitätskontrolle mit dem
(unterstützenden) Fabrikautomatisierung über das Setzen Ziel einer ständigen Optimierung. Sie entwickeln kognitive
weiterer Programmbefehle. Allerdings gibt stets der Mensch Fähigkeiten, gleich der menschlichen Intelligenz.
die möglichen Handlungsalternativen über die Programmie-
rung vor, es handelt sich – um in der Begriffswelt der Künst Eine solche „starke“ menschenähnliche KI wird es nach allen
lichen Intelligenz zu bleiben – um eine „schwache KI“. Experteneinschätzungen erst in ferner Zukunft geben. Rea-
lität ist derzeit und wohl auch noch in absehbarer Zukunft
die „schwache“ KI als eine enorm beschleunigte Automati-
sierung von Prozessen mit einem unterstützenden und
(scheinbar) intelligenten Verhalten.
4 In diese Richtung zielt auch die KI-Software Philyra, die aus der Zusammenarbeit zwischen dem deutschen Dufthersteller Symrise und dem
Thomas J. Watson Research Center von IBM entstanden ist. Sie analysiert Daten von 1,7 Millionen Duftformeln aus dem Bestand von Symrise,
prüft, welche sich an den diversen Märkten bewährt haben, und kreiert daraus neue Duftrezepturen. Anschließend werden die Rezepturen
direkt an den Labor- bzw. Abfüllroboter weitergeleitet, der die Rohstoffe entsprechend der Vorgaben mischt.
5 Künstliche Intelligenz und Rechtspersönlichkeit
6 KÜNSTLICHE INTELLIGENZ UND RECHTSPERSÖNLICHKEIT
A: Steckbrief § B: Juristische Einschätzung
Worum geht es bei dem Thema? I. Zum Begriff der Rechtsperson nach geltendem Recht
und Geschlossenheit des Systems der Rechtsperson
Aufgrund der Tatsache, dass die automatisierten und
teil-autonomen Systeme dem menschlichen Verhalten Als Rechtsperson (Rechtssubjekt) werden in unserem
und dessen Fähigkeiten zumindest näherkommen und Rechtssystem Akteure bezeichnet, denen die Fähigkeit
sich aufgrund der Vernetzung der Systeme auch eine zugewiesen ist, Träger von Rechten und Pflichten zu sein
gewisse Unübersichtlichkeit und Unberechenbarkeit (sog. Rechtsfähigkeit). Nach geltendem Recht sind das
einstellt, die es erschwert, Zuständigkeiten und Verant- natürliche Personen, d. h. geborene und noch lebende Men-
wortungen bei Fehlentscheidungen/-funktionen klar schen, sowie juristische Personen, als eine Zusammenfas-
zuzuordnen und voneinander abzugrenzen, entsteht das sung von Personen und Sachen zu auf Dauer angelegten
Bedürfnis, das Rechtssystem auf die neu entstehenden zweckgebundenen Organisationen. Weitere Rechtsperso-
Bedürfnisse anzupassen. In diesem Zusammenhang wird nen kennt unsere Rechtsordnung nicht.
auch erwogen, KI-Systeme mit einer eigenen Rechts
persönlichkeit auszustatten.5 Das Europäische Parlament Allerdings fußt diese Einteilung auf einem rechtspolitischen
hat insoweit eine „elektronische Persönlichkeit (ePerson)“ Willen, zwingend ist sie nicht. Anfänglich charakterisierte
für intelligente Roboter und autonome Systeme vorge- Savigny die juristische Personenwelt noch entsprechend
schlagen.6 Ob allerdings die Einführung einer solchen dem von Kant geprägten Zeitgeist, der bestimmte, dass der
Rechtsperson, die als selbständiger Akteur mit eigenen Begriff der Person bzw. des Rechtssubjekts eng mit dem
Rechten und Pflichten ausgestattet sein soll, tatsächlich Begriff des Menschen zusammenfallen muss. In der Folge
notwendig ist, muss angesichts der oben getroffenen Fest hat sich der juristische Personenbegriff von dieser zwin-
stellungen, dass die „schwache“ KI auch bis auf Weiteres genden Bindung an den Menschen gelöst. Die Erkenntnis
einem menschlichen Handeln zugerechnet werden kann, ging dann vielmehr dahin – und wurde auch durch zahlreiche
hinterfragt werden. rechtsphilosophische Schriften7 begleitet –, dass Rechtsper-
sonen alleine juristische Zurechnungspunkte verkörpern und
als solche nicht vorgegeben sind. Insofern wurde es auch
Leitfragen als zulässig erachtet, dass Rechtspersonen nicht mehr aus-
schließlich über natürliche Personen repräsentiert werden,
• Ist die Einführung einer neuen Rechtspersönlichkeit als sondern z. B. auch soziale Substrate von Organisationen als
selbständiger Akteur mit eigenen Rechten und Pflichten Repräsentant von Rechten und Pflichten gelten können, die
erforderlich? weder über Wille, Bewusstsein noch Emotionalität verfügen.
Selbst Organisationen ohne personelles Substrat ließ man
• Gibt es Verantwortungslücken, die den Einsatz einer als Repräsentanten zu. Radbruch fasste dies im Jahr 1905
neuen Rechtspersönlichkeit/ePerson beim Einsatz pointiert wie folgt zusammen:
schwacher KI-Systeme erforderlich machen?
„Person zu sein, ist das Ergebnis eines Personifikationsakts
der Rechtsordnung. Alle Personen, die physischen wie die
juristischen, sind Geschöpfe der Rechtsordnung. Auch
natürliche Personen sind im strengsten Sinne ‚juristische
Personen‘.“
5 Bräutigam/Rücker, E-Commerce, 14 B Rn. 4; Pieper, DSRITB 2016, 971, 978; Mayinger, Die künstliche Person, 2016, S. 65 f.
6 Entschließung des Europäischen Parlaments v. 16.02.2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich
Robotik (2015/2103/INL), S. 28.
7 U. a. Savigny, Gierke, Brinz&Hauriou, Radbruch.
KÜNSTLICHE INTELLIGENZ UND RECHTSPERSÖNLICHKEIT 7
Mit der Erkenntnis, dass die Etablierung von Rechtspersön- Ganz allgemein wird man auch zu prüfen haben, ob sich
lichkeiten einem innerjuristischen (Zurechnungs-)Akt ge eine solche Rechtsperson mit verfassungsrechtlichen und
schuldet ist, lässt sich durchaus auch über die Einführung internationalen Grundsätzen vereinbaren lässt. Die Rechts-
einer weiteren Rechtsperson in Form einer „ePerson“ disku- subjektqualität steht z. B. in vielerlei Hinsicht mit der Men-
tieren – sie wäre einführbar –, wenngleich damit weitere schenwürde in unmittelbarem Zusammenhang. Attribute
Fragestellungen einhergehen. wie Moral und Willen spielen bei den in der geltenden
Rechtsordnung etablierten Rechtspersonen eine erhebliche
Rolle und sind verhaltensleitend. Selbst bei juristischen
II. Zur Frage der Verantwortungszuweisung und Personen, die ihre Rechtsfähigkeit auch ohne ein personel-
Betrachtung der Rechtsfolgen les Substrat erhalten können, verhält es sich so, da sie
zumindest von einem Zusammenschluss natürlicher Perso-
Die sich in diesem Zusammenhang zuerst aufdrängende nen geschaffen worden sind. Insofern müsste geklärt wer-
Frage ist natürlich, ob es solche Verantwortungslücken im den, wie die genannten Attribute in die KI-Systeme imple-
Zusammenhang mit der „schwachen KI“ überhaupt gibt. mentiert werden können, um den Wertvorstellungen der
Erfordert die „schwache KI“ tatsächlich die Einführung Rechtsordnung gerecht zu werden.
einer Rechtsperson „ePerson“? Letzteres wäre wohl nur zu
rechtfertigen, falls juristische Zurechnungspunkte/-sub-
jekte sowie verantwortlich agierende Akteure tatsächlich C: Handlungsempfehlungen
fehlen, was im Einzelnen für die Bereiche des Zivilrechts,
Strafrechts und öffentlichen Rechts zu prüfen wäre. Dabei Die Notwendigkeit, eine ePerson jetzt zu schaffen, wird
sollten insbesondere Fragen zur Verantwortungszuweisung nicht gesehen. Alle sich derzeit stellenden Probleme sind
und Haftung bei technischem Versagen und der Inverkehr- im Rahmen der bestehenden Rechtsordnung lösbar (siehe
gabe fehlerhafter technischer Systeme in Augenschein die anderen Steckbriefe). Die KI-Systeme haben bislang
genommen werden. Berührungsbereiche bestehen hier ins- nicht den Grad an Autonomie erreicht, dass eine Anknüp-
besondere zum Vertragsrecht (Vertragsschlüsse durch auto- fung an ein menschliches Verhalten nicht mehr möglich
matisierte und teil-autonome Systeme und vertragliche wäre. Vielmehr können die Verantwortungslücken durch
Haftung), dem Deliktsrecht (außervertragliche Haftung eine behutsame Weiterentwicklung bestehender Regelun-
nach § 823 BGB, Produkthaftungsrecht, StVG etc.) sowie gen geschlossen werden (siehe auch die anderen Steck-
dem Produkt- bzw. Produktsicherheitsrecht. briefe; v. a. im Bereich der Verantwortungszuweisung im
Kontext von Haftung).
Ferner ist auf Rechtsfolgenseite zu überlegen, inwieweit eine
ePerson – so sie denn überhaupt als unmittelbar oder mit-
telbar Verantwortliche zu rechtfertigen ist – in Anspruch
genommen werden könnte. Welche Rechtsfolgen ergeben
sich aus der Einführung einer solchen Rechtsperson und
welche Änderungen würden sich in der gesamten Gesetzes-
systematik ergeben? Muss neben die technische Autonomie
auch eine Verantwortungsautonomie treten, d. h. muss die
ePerson mit einer eigenen Haftungsmasse ausgestattet
werden, um entstehende Schäden regulieren zu können?
Die Vermögensfähigkeit muss wohl denknotwendig mit
der Rechtsfähigkeit einhergehen. Rechtsfähigkeit und Ver-
mögensfähigkeit bedingen sich gegenseitig –, auch bei den
bestehenden Rechtspersonen –, so dass auch hier Lösungen
erarbeitet werden müssten.
8 Künstliche Intelligenz und Datenzugang sowie -schutz
K Ü N S T L I C H E I N T E L L I G E N Z U N D D AT E N Z U G A N G S O W I E -S C H U T Z 9
A: Steckbrief Welche Fragen/Herausforderungen ergeben sich für
Industrie 4.0?
Worum geht es bei dem Thema? Die DSGVO und deren Auslegung durch die Aufsichtsbe-
hörden stellen zum Teil hohe Anforderungen an den
Mechanismen der Künstlichen Intelligenz spielen im Umgang mit Daten in Hinblick auf Einsatz und Weiterent-
Umfeld der Industrie 4.0 eine zunehmend wichtige wicklung von KI-Systemen im Bereich der Industrie 4.0.
Rolle, z. B. bei der Qualitätskontrolle am Ende des Ferti- Hier sind u. a. folgende Fragen klärungsbedürftig:
gungsprozesses, der Predictive Maintenance, bei Assis-
tenztätigkeiten durch Roboter, aber auch im HR- und • Welche Vorteile bringt die Pseudonymisierung von
Weiterbildungsbereich. Auch die Kommunikationspro- Datensätzen, v. a. in Bezug auf eine mögliche Interessen-
zesse zwischen Mensch und Maschine verändern sich abwägung?
zunehmend. Computersysteme und Roboter verstehen
und „sprechen“ die menschliche Sprache, z. B. um im • Wie können Daten, die für einen bestimmten Zweck
Rahmen von Wartungsarbeiten mit Problemanalysen erfasst wurden (z. B. die Qualitätskontrolle), vor dem
und Reparaturhinweisen zu unterstützen. Hintergrund des Grundsatzes der Zweckbindung (Art. 5
Abs. 1 Buchst. b DSGVO) für andere Zwecke (Training
Muster- und Spracherkennung, maschinelles Lernen von KI-Systemen zur Optimierung der Supply Chain)
und die Weiterentwicklung von KI-Anwendungen beru- eingesetzt werden?
hen auf Daten. Daten sind nichts weniger als die Essenz
der Digitalisierung im Allgemeinen und der KI im Spezi- • Wie wirkt sich der Grundsatz der Datenminimierung
ellen. Dabei kommt es neben der reinen Verfügbarkeit (Art. 5 Abs. 1 Buchst. c DSGVO) und des Datenschutzes
nicht nur auf die Masse an Daten, sondern auch auf durch Technikgestaltung (Art. 25 Abs.1 DSGVO) auf den
deren Qualität. gewinnbringenden Einsatz von KI in der Industrie 4.0 aus?
Die genutzten Daten weisen auch im industriellen • Wie werden automatisierte Entscheidungen im Einzel-
Kontext oftmals einen mittelbaren oder unmittelbaren fall einschließlich Profiling im Kontext selbstlernender
Personenbezug auf, da sie mit einer bestimmten oder und autonomer Systeme in Hinblick auf Art. 22 DSGVO
bestimmbaren natürlichen Person, die mit KI-Systemen behandelt?
interagiert, verknüpft sind. Hierdurch kommen die
Regelungen der Datenschutz-Grundverordnung • Welche Änderungen der DSGVO und deren Umsetzungs
(DSGVO) zur Anwendung, auch wenn im Rahmen der gesetze wären zweckmäßig, um einem Einsatz von
Datenverarbeitung die natürliche Person, zu der ein KI-Systemen und deren Weiterentwicklung in der
(theoretischer) Bezug hergestellt werden kann, keine Industrie 4.0 Rechnung tragen zu können?
faktische Rolle spielt.
• Wie kann die Transparenz und Erklärbarkeit von
Neben dem Schutz personenbezogener Daten stellen KI-Systemen erhöht werden?
sich bei KI-Systemen zusätzlich Fragen nach der Trans-
parenz eingesetzter Algorithmen und ihrer Entschei- • Wie kann ein besserer Zugang zu Daten des öffentlichen
dungen sowie dem Zugang zu Trainingsdatensätzen für Sektors sichergestellt werden, so dass KI-Systeme eine
KI. Empfehlungen von KI-basierten Systemen sollten für bessere Datenausstattung v. a. für Trainingszwecke
den Nutzer nachvollziehbar sein. Inkorrekte oder gar erhalten?
diskriminierende Entscheidungen (sog. maschinelles
„Bias“), die auf unvollständigem und einseitigem Daten-
material beruhen, müssen soweit möglich erkenn- und
behebbar sein.10 K Ü N S T L I C H E I N T E L L I G E N Z U N D DAT E N Z U G A N G S O W I E -S C H U T Z
§ B: Juristische Einschätzung Neben der DSGVO spielt auch die künftige e-Privacy-Ver-
ordnung eine erhebliche Rolle, v. a. im Kontext des Zugriffs
auf Endgeräte des Nutzers. Auch hier ist die Möglichkeit der
I. Pseudonymisierung von Datensätzen Weiterverarbeitung pseudonymer Daten als Alternative zu
Einwilligung und Anonymisierung vorzusehen, so dass die
Pseudonymisierung kann als besondere Schutzmaßnahme notwendigen Datenmengen bereitgestellt werden können.
Datenschutzrisiken minimieren. Im Rahmen der Pseudony- Der Anwendungsrahmen der e-Privacy-Verordnung für
misierung wird die Zuordnung der Daten zu einer bestimm- nicht-personenbezogene Daten muss in Hinblick auf einen
ten oder bestimmbaren Person erschwert. Der Name oder innovationsfreundlichen und wettbewerbsfähigen Industrie
das sonstige Identifikationsmerkmal einer Person wird in 4.0-Standort in Deutschland insofern eingeschränkt werden.
diesem Fall durch einen Code ersetzt, bspw. durch Zahlen- Maschinendaten, die im industriellen Kontext verwendet
oder Buchstabenkombinationen. Die Zuordnungstabelle werden und keinen Personenbezug aufweisen, müssen zwar
zwischen Code und Einzelperson muss dabei verborgen vertraulich behandelt werden, aber ein noch höheres Schutz
bleiben, so dass im Rahmen der Verarbeitung nur das Pseu- niveau, als es für personenbezogene Daten durch die DSGVO
donym verwendet wird. Dadurch können Daten einer Nach gilt, ist weder erforderlich noch einem innovativen und
nutzung zugeführt werden, ohne dass im Besonderen Industrie 4.0-freundlichen Standort zuträglich.
Betroffenenrechte negativ tangiert werden.
Diese Risikominimierung verfängt letztlich aber nur in der II. Datenerfassung für einen bestimmten Zweck
Anwendungspraxis, wenn hier Erlaubnistatbeständen jen-
seits einer informierten Einwilligung (etwa die Datenverar- Auch hier wäre es aus Sicht der Plattform Industrie 4.0 ziel-
beitung auf Grundlage berechtigter Interessen nach Art. 6 führend, wenn seitens der Aufsichtsbehörden eine abwägende
Abs. 1 Buchst. f DSGVO) seitens der Aufsichtsbehörden auch Anwendungsinterpretation erfolgen würde. Regulierungs-
in der Praxis Bedeutung zugemessen werden. Ansonsten ziel der Zweckbindung ist es, einer nicht nachvollziehbaren
bestünde kein Anreiz, Maßnahmen wie die Pseudonymisie- Nutzung von personenbezogenen Daten entgegenzuwirken.
rung, die potentiell eine geringere Eingriffstiefe in das All- Diesem Schutzziel kann auch hier dadurch Rechnung ge
gemeine Persönlichkeitsrecht aufweisen, auch anzuwen- tragen werden, dass technische Schutzmechanismen (bspw.
den. Dies gilt insbesondere im Rahmen der Industrie 4.0, die Pseudonymisierung) dieses Ziel faktisch realisieren. Dem
wo Daten oftmals einen entfernten Personenbezug aufwei- nach sollten solche Datenverarbeitungspraktiken, die eine
sen, der aber bei der Datenverarbeitung – bspw. im Bereich entsprechende Schutzwirkung entfalten, im Rahmen der
der M2M-Kommunikation – nicht im Vordergrund steht Abwägung der Weiterverwendung von Daten für kompatible
bzw. unerheblich ist. Zwecke nach Art. 6 Abs. 4 DSGVO angemessen gewichtet
werden. Darüber hinaus sollte anerkannt werden, dass das
Durch die angemessene Berücksichtigung der Pseudony- Anlernen von KI-Systemen in der Anwendungsauslegung
misierung im Rahmen der Interessenabwägung des Art. 6 der DSGVO einen hinreichend eindeutig festgelegten sowie
Abs. 1 Buchst. f DSGVO kann gewährleistet werden, dass legitimen Zweck darstellt.
KI-Systeme notwendigen Datenzugang erhalten, mit denen
das System erkenntnisgewinnend arbeiten kann. Gleichzei-
tig wird die Privatsphäre des Einzelnen in der praktischen III. Auswirkungen des Grundsatzes der Datenminimierung
Anwendung sogar besser geschützt, als dies im Rahmen einer und des Datenschutzes durch Technikgestaltung
informierten Einwilligung möglich wäre.
In der Wechselwirkung zwischen Datenerfordernis für
Gerade im Hinblick auf die Notwendigkeit, große Daten- KI-Systeme und dem Gebot der Datensparsamkeit ist sicher-
mengen für das maschinelle Lernen bereitzustellen, ist lich noch die Schaffung einer notwendigen Evidenzbasis
Pseudonymisierung eine geeignete Lösung, um die Ent- notwendig. Dennoch ist ein besonderes Interesse daran
wicklung innovativer KI-Anwendungen unter Gewährleis- festzustellen, dass der Grundsatz der Datenminimierung in
tung eines technisch hohen Datenschutzes für den einzel- einem potentiellen, aber auflösbaren Spannungsverhältnis
nen Nutzer zu ermöglichen. mit dem Erfordernis steht, dass KI-Systeme grundsätzlich
ein quantitativ und qualitativ hohes Maß an Daten erfordern.
Eine ausgewogene Balance ist notwendig, um auch dieK Ü N S T L I C H E I N T E L L I G E N Z U N D D AT E N Z U G A N G S O W I E -S C H U T Z 11
gesellschaftlich gewünschte Akzeptanz und somit die posi- Denn unabhängig von entsprechenden rechtlichen Ver-
tiven Effekte, die mit dem Einsatz Künstlicher Intelligenz pflichtungen ist ein gegenüber dem Nutzer transparenter
einhergehen, erzielen zu können. Einsatz von KI-Anwendungen aus Sicht der Plattform
Industrie 4.0 essentiell. Insofern können nur dann rechts-
Jedoch muss auch klar sein, dass im rein industriellen Kon- verbindliche automatisierte Entscheidungen getroffen
text andere Maßstäbe gelten müssen als beispielweise im werden, wenn der Nutzer hierüber in einem entsprechen-
Bereich des KI-Einsatzes durch Verbraucher. Mit Rückgriff den Einwilligungsprozess oder Vertragsschluss entsprechend
auf Erwägungsgrund 78 der DSGVO erscheint es auch hier Art. 22 DSGVO informiert wurde.
geboten, risikominierende Faktoren wie die Pseudonymi-
sierung dergestalt zu bewerten, dass die Einhaltung ent- Allerdings darf dies nicht dazu führen, dass solche auf selbst
sprechender Maßnahmen das Schutzziel, welches durch den lernenden Systemen basierenden automatisierten Entschei-
Grundsatz der Datenminimierung angestrebt wird, erfüllt. dungsprozesse, die keine unmittelbare Wirkung für den
Betroffenen entfalten, mit Rückgriff auf Art. 22 nicht durch
führbar sind. Auch hier gilt es, dass solche Schutzmaßnahmen
IV. Automatisierte Entscheidungen im Einzelfall einschließ positiv bewertet werden sollten, die v. a. darauf abstellen,
lich Profiling im Kontext selbstlernender und autono die Privatsphäre des Einzelnen adäquat zu schützen.
mer Systeme
Grundsätzlich ist es von besonderem Interesse, dass Nutzer
die Kontrolle über die Verwendung ihrer Daten behalten.
Dazu gehört auch die Aufklärung darüber, wie datengetrie-
bene Geschäftsmodelle funktionieren und wie Anwender
in der Industrie 4.0 ihre digitale Souveränität wahrnehmen
können.12 K Ü N S T L I C H E I N T E L L I G E N Z U N D DAT E N Z U G A N G S O W I E -S C H U T Z
V. Änderungen der DSGVO und deren Umsetzungsgesetze Grundsätzlich sollten Kunden stets wissen, ob sie mit einem
zur Förderung des Einsatzes von KI-Systemen und Menschen oder einem KI-System kommunizieren. Dabei
deren Weiterentwicklung in der Industrie 4.0 muss dem Nutzer gegenüber offengelegt sein, welche Kun-
dendaten für KI-Systeme genutzt werden. Eine grundsätz
In der bis 2020 vorzunehmenden Evaluierung der DSGVO liche Offenlegungspflicht für KI-Implementierungen oder
sollte dem Umstand Rechnung getragen werden, dass trainierte KI-Modelle sollte vermieden werden, da andern-
Datenvielfalt und Datenschutz keine widersprüchliche falls ein tiefer Eingriff in Geschäftsgeheimnisse und geistiges
Ausrichtung darstellen. Vielmehr noch muss anerkannt Eigentum vorläge, der die KI-Entwicklung ausbremsen würde.
werden, dass die DSGVO bislang den individuellen Schutz-
anspruch des Einzelnen nicht immer in einen interessen- Forschung zur Rechenschaftspflicht und Erklärbarkeit von
gerechten Ausgleich mit anderen schutzwürdigen Interes- KI sollte stärker gefördert werden, um technische Ansätze
sen bringen kann. So ist bspw. die medizinische Diagnostik für KI-Transparenz weiterzuentwickeln. Gleiches gilt für An
auf eine möglichst breite Datenbasis angewiesen. Eine zu sätze zur Sensibilisierung von Entwicklern und Anwendern
repressive Auslegung des Datenschutzes führt dazu, dass zu den ethischen Grenzen von KI.
der medizinische Nutzen für den Einzelnen nicht gehoben
werden kann. Mittlerweile ist es aber gesamtgesellschaft
licher Konsens, dass ein gewisses Maß an Datenreichtum VII. Zugang zu Daten des öffentlichen Sektors
notwendig ist, um die digitale Transformation weiterhin
gewinnbringend für die gesamte Gesellschaft zu entwickeln. Maschinelles Lernen von KI-Systemen erfordert Trainings-
Gerade in Hinblick auf Industrie 4.0 muss noch stärker daten. Der Erfolg von KI hängt in einem hohen Maße von
zwischen solchen Fällen differenziert werden, in denen das der Verfügbarkeit von Daten ab. Diese Daten müssen quali-
allgemeine Persönlichkeitsrecht einer natürlichen Person tativ hochwertig, glaubwürdig, zeitnah und in einheitlichen,
verletzt werden kann, und Fällen, in denen ein Personen maschinenlesbaren Formaten vorliegen. KI-Anwendungen
bezug ggf. vorliegt, aber nur am Rande (im Rahmen einer können letztlich nur so gut sein wie die Daten, die verarbei-
„industriellen“ Datenverarbeitung) berührt ist. tet werden. Eine wichtige und bislang weitgehend ungenutzte
Quelle für Trainingsdaten sind Behörden, die riesige Daten-
Insofern muss im Rahmen einer Evaluierung die Ausrich- mengen ansammeln und abspeichern:
tung der Regulierung an den grundlegenden Prinzipien
Datensparsamkeit und Zweckbindung dahingehend in Daher sind die Bestrebungen der Europäischen Kommission
Frage gestellt werden, dass hinsichtlich der Nutzerakzep- begrüßenswert, die gemeinsame Datennutzung im öffent
tanz von Datenverarbeitung vielmehr Fragestellungen der lichen Sektor zu fördern, u. a. im Wege der Überarbeitung
Transparenz von (auch automatisierten) Entscheidungen der Richtlinie über die Weiterverwendung von Informatio-
im Vordergrund stehen sollten. Dabei gilt es sicherzustel- nen des öffentlichen Sektors (PSI-Richtlinie).
len, dass es nicht um die genaue Nachvollziehbarkeit einer
jeden Algorithmen-basierten Rechneroperation gehen kann Öffentliche Daten sollten KI-Entwicklern und -Anwendern
als vielmehr um deren grundsätzliche Erklärbarkeit. über offene Datenportale in standardisierter, maschinen-
lesbarer Form zur Verfügung gestellt werden. Dazu sollten
erforderliche Standards entwickelt und Engpässe beim
VI. Transparenz und Erklärbarkeit von KI-Systemen Zugang zu öffentlichen Daten abgebaut werden.
Nur ein möglichst transparenter Umgang mit KI kann das Ein darüber hinausgehender regulierter Zugang zu Daten
Vertrauen von Menschen in ein autonom arbeitendes und des Privatsektors wäre jedoch nicht zielführend. So würde
entscheidendes System schaffen. Zur Sicherstellung von eine verpflichtende Öffnung von Datenbeständen dem
Transparenz sieht die DSGVO bei rein automatisierten Ent- inhärenten Risiko ausgesetzt sein, dass auch und gerade im
scheidungen umfassende Informationspflichten und ein Bereich maschinell erhobener Daten eine nicht sachge-
Recht des Betroffenen auf eine menschliche Überprüfung rechte Datensparsamkeit Einzug halten würde, die die wei-
einer automatisierten Entscheidung vor. tere Entwicklung von digitalen Technologien ausbremsen
würde. Auch ist ein Marktversagen, das eine entsprechende
Regulierung rechtfertigen würde, nicht erkennbar. Bereits
heute kooperieren Telekommunikationsanbieter erfolgreichK Ü N S T L I C H E I N T E L L I G E N Z U N D D AT E N Z U G A N G S O W I E -S C H U T Z 13
mit öffentlichen Stellen, wenn es z. B. um intelligentes Ver- Unabhängig von entsprechenden rechtlichen Verpflichtun-
kehrsmanagement durch entsprechende Analyse und Aus- gen ist ein gegenüber dem Nutzer transparenter Einsatz
wertung von Standortinformationen geht. von KI-Anwendungen aus Sicht der Plattform Industrie 4.0
essentiell. Auf selbstlernenden Systemen basierende auto-
Der Grundsatz der Vertragsfreiheit und ein freiwilliger Open- matisierte Entscheidungsprozesse, die keine unmittelbare
Data-Ansatz sollten im KI-Kontext Bestand haben. Unter- Wirkung für den Betroffenen entfalten, müssen jedoch
nehmen müssen frei entscheiden können, wem und unter durchführbar bleiben.
welchen Bedingungen sie Zugang zu ihren nicht-personen-
bezogenen Daten gewähren, sei es im Wege von Datenpart- In der bis 2020 vorzunehmenden Evaluierung der DSGVO
nerschaften im B2B-Bereich oder durch vertragliche Ver- sollte dem Umstand Rechnung getragen werden, dass
einbarungen mit öffentlichen Stellen. Datenvielfalt und Datenschutz keine widersprüchliche
Ausrichtung darstellen. Vielmehr noch muss anerkannt
werden, dass die DSGVO bislang den individuellen Schutz-
C: Handlungsoptionen und anspruch des Einzelnen nicht immer in einen interessen-
Handlungsempfehlungen gerechten Ausgleich mit anderen schutzwürdigen Interes-
sen bringen kann.
Durch die angemessene Berücksichtigung der Pseudony-
misierung im Rahmen der Interessenabwägung des Art. 6 Forschung zur Rechenschaftspflicht und Erklärbarkeit von
Abs. 1 Buchst. f DSGVO kann gewährleistet werden, dass KI sollte stärker gefördert werden, um technische Ansätze
KI-Systeme notwendigen Datenzugang erhalten, mit denen für KI-Transparenz weiterzuentwickeln. Gleiches gilt für
das System erkenntnisgewinnend arbeiten kann. Ansätze zur Sensibilisierung von Entwicklern und Anwen-
dern zu den ethischen Grenzen von KI.
Darüber hinaus sollte anerkannt werden, dass das Anlernen
von KI-Systemen in der Anwendungsauslegung der DSGVO Öffentliche Daten sollten KI-Entwicklern und -Anwendern
einen hinreichend eindeutig festgelegten sowie legitimen über offene Datenportale in standardisierter, maschinen-
Zweck darstellt. lesbarer Form zur Verfügung gestellt werden. Dazu sollten
erforderliche Standards entwickelt und Engpässe beim
Mit Rückgriff auf Erwägungsgrund 78 der DSGVO erscheint Zugang zu öffentlichen Daten abgebaut werden. Ein darüber
es geboten, risikominierende Faktoren wie die Pseudony- hinausgehender regulierter Zugang zu Daten des Privat
misierung dergestalt zu bewerten, dass die Einhaltung ent- sektors wäre jedoch nicht zielführend.
sprechender Maßnahmen das Schutzziel, welches durch
den Grundsatz der Datenminimierung angestrebt wird,
erfüllt.14
Haftung
§HAFTUNG 15
A: Steckbrief sich ganz überwiegend auf die Unterstützung des Nutzers
bei Datenanalyse und Prozessoptimierung.8
Worum geht es bei dem Thema? Die bisherigen juristischen Analysen der Plattform Indus-
trie 4.0 haben für Szenarien der Industrie 4.0 keine haf-
Auch wenn die Entwicklung noch am Anfang steht, halten tungsrechtlichen Regelungslücken im geltenden Recht
in der Industrie 4.0 IT-Systeme Einzug, die mit Künstlicher identifiziert. Einzig für den Bereich von Schadensfällen
Intelligenz (KI) arbeiten. Unter dem Schlagwort „Künst- in einer Industrie 4.0-Fertigungsstätte wurde der Politik
liche Intelligenz“ (KI) werden Informatik-Anwendungen anheimgestellt, über eine Weiterentwicklung des Haft-
verstanden, die intelligentes Verhalten nachbilden und pflichtgesetzes nachzudenken. Die gefundenen Ergebnisse
zu maschinellem Lernen fähig sind. Dabei wird unter- sollen im Rahmen dieses Steckbriefs für Szenarien in der
schieden zwischen Expertensystemen und sog. neuro Industrie 4.0 überprüft werden, in denen KI zum Einsatz
nalen Netzen. Expertensysteme nutzen menschliches kommt.
Expertenwissen aus bestimmten Fachgebieten, das in
computergerechte Modelle und Regeln übersetzt wurde.
Die Ausgabeergebnisse von Expertensystemen sind anhand Welche Fragen/Herausforderungen ergeben sich für
von Regeln vorab definiert und lassen sich im Einzelnen Industrie 4.0?
nachvollziehen und erklären. Neuronale Netze werden
in sehr grober Anlehnung an das menschliche Gehirn als • Welche Haftungsregime stehen zur Auswahl –
Schichten miteinander verbundener künstlicher Neuro- Vorüberlegungen
nen konzipiert. Durch Lernalgorithmen werden die neu-
ronalen Netze in einem Trainingsprozess dazu befähigt, • Ist das Produkthaftungsgesetz auf KI-Systeme anwend-
Muster und Korrelationen in einem Datenbestand zu bar (m. a. W. ist ein KI-System Produkt i. S. d. ProdHaftG)?
erkennen. Mittels Entscheidungsalgorithmen können
die im Trainingsprozess gewonnenen Lernergebnisse auf • Haftet der Hersteller im Sinne der Produzentenhaftung
neue Datenbestände übertragen werden. Je komplexer für die KI?
und vielschichtiger neuronale Netze aufgebaut sind, desto
schwieriger wird es, die Verarbeitungs- und Entscheidungs- • Sind die bisherigen Ergebnisse der AG4 vor diesem
mechanismen und die Lernschritte des Systems nach Hintergrund beim Einsatz von KI haltbar?
zuvollziehen. Aufgrund der Vielzahl von Parametern,
Variablen und Interdependenzen innerhalb eines neuro-
nalen Netzes lassen sich Lernvorgänge und Ausgabe-
muster nicht exakt, sondern nur annäherungsweise
innerhalb einer gewissen Bandbreite von möglichen
§ B: Ethische Vorüberlegungen
Ergebnissen vorhersagen. Der Mensch entwickelt KI-Systeme und setzt sie für seine
Zwecke ein. Die Verantwortlichkeit für den Einsatz von KI
Voraussetzung für die Funktionstüchtigkeit selbstlernen- und dessen Folgen dürfen dabei aber nicht an die Technik
der Systeme ist neben der Auswahl eines geeigneten übergeben werden. Solange (natürliche oder juristische)
neuronalen Netzes eine fehlerfreie Programmierung der Personen für die Folgen der KI-Nutzung haftbar bleiben,
Lern- und Entscheidungsalgorithmen und die Bereitstel- bleibt ein Eigeninteresse des möglicherweise Haftenden
lung ausreichender und tendenzfreier Trainingsdaten. erhalten, die KI und ihre Ergebnisse zu kontrollieren. Soweit
Künstliche Intelligenz kommt aktuell vor allem dann zum gesellschaftlicher Konsens darüber besteht, dass Menschen
Einsatz, wenn große Datenmengen schnell zu analysieren beim Einsatz von KI verantwortlich bleiben sollen, können
sind und aus dieser Analyse Muster und Entscheidungs- die Haftungsgrundsätze des geltenden Rechts (ggf. mit klei-
bzw. Handlungsempfehlungen abgeleitet werden sollen. neren Modifikationen) weiterhin angewendet werden.
Die Einsatzszenarien für KI-Systeme in der Industrie
sind jedoch derzeit noch sehr begrenzt und beschränken
8 Nach einer Mitgliederbefragung des VDI aus dem April 2018 wird KI nur in 7 % der befragten KMU und in 12,6 % der befragten Großunter-
nehmen und überwiegend für Datenanalysen eingesetzt (vgl. „Künstliche Intelligenz – VDI-Statusreport Oktober 2018“, S. 21)16 HAFTUNG
§ C: Juristische Einschätzung • Instruktionspflichten (der Hersteller muss den Nutzer
über Bedienung und mögliche Gefahrenquellen des Pro-
dukts informieren),
I. Welche Haftungsregime stehen zur Auswahl? –
Vorüberlegungen • Produktbeobachtungspflichten (der Hersteller muss
Hinweisen auf Fehler und Gefährdungspotenzial seiner
Die Verantwortlichkeit der Hersteller von Produkten, die Produkte nachgehen) und
Künstliche Intelligenz nutzen, richtet sich im Wesentlichen
nach den Vorgaben der Produkt- und Produzentenhaftung. • Gefahrabwendungspflichten (der Hersteller muss erkannte
Gefahren bei Gebrauch seiner Produkte beseitigen und
Produkthaftung: Nach dem Produkthaftungsgesetz (Prod- notfalls das Produkt aus dem Markt zurückrufen).
HaftG) haftet ein Unternehmen als Hersteller verschuldens
unabhängig, wenn ein von ihm in Verkehr gebrachtes Pro- Außer für Verletzungen an Körper, Gesundheit und Eigen-
dukt einen Fehler aufweist und dieser Fehler dazu führt, tum muss ein Produzent nach § 823 Abs. 1 BGB auch haf-
dass ein Mensch getötet, sein Körper oder seine Gesundheit ten für Schäden, die an eigentumsgleichen Rechten, dem
verletzt oder eine Sache, die für den privaten Gebrauch Recht am eingerichteten und ausgeübten Gewerbebetrieb
oder Verbrauch bestimmt ist, beschädigt wird. Eine Haf- und aufgrund einer Verletzung des allgemeinen Persönlich-
tung nach dem ProdHaftG kann insbesondere ausgelöst keitsrechts entstanden sind. Auch nach § 823 Abs. 1 BGB
werden durch: sind reine Vermögensschäden allerdings nicht zu ersetzen.
• Konstruktionsfehler (Verstoß gegen technische Erkennt- Zu untersuchen ist im Folgenden, wie diese Rechtsgrund-
nisse bei der Herstellung), sätze auf mögliche Schäden durch Produkte anzuwenden
sind, die KI nutzen.
• Fabrikationsfehler (Abweichungen von den Konstruktions-
vorgaben für einzelne Produkte während der Herstellung),
II. Ist das Produkthaftungsgesetz auf KI-Systeme anwend
• Instruktionsfehler (unzureichende Gebrauchsanweisung bar (m. a. W. ist ein KI-System Produkt i. S. d. ProdHaftG)?
oder fehlende Warnung vor Gefahren).
Das Produkthaftungsrecht gilt für bewegliche Sachen. Ob
Die Haftung tritt nur ein, wenn das Produkt den schadens- KI-Systeme, die aus Computer-Algorithmen und damit aus
stiftenden Fehler bereits beim Inverkehrbringen aufweist. Software bestehen, bewegliche Sachen in diesem Sinne sind,
ist in der Rechtswissenschaft mehr als umstritten9. Momen-
Produzentenhaftung: Die Produzentenhaftung greift ein tan wird Software noch nicht als Produkt im Sinne des
bei Verletzung eines von § 823 Abs. 1 BGB geschützten Produkthaftungsrechts klassifiziert. Insoweit scheidet eine
Rechtsguts durch ein industriell hergestelltes Produkt. Haftung des KI-Entwicklers als Hersteller nach dem Prod-
Zusätzlich muss ein Verschulden des Herstellers vorliegen. HaftG momentan schon aus diesem Grund aus.
Ein Verschulden trifft den Hersteller, wenn er eine Ver-
kehrssicherungspflicht verletzt. Als Verkehrssicherungs- Andererseits kommt die Produkthaftung nur zur Anwendung
pflichten anerkannt sind bei Verletzung von Körper, Gesundheit und Eigentum. Zur
Begründung einer Haftung des KI-Programmierers nach
• Organisationspflichten (der Hersteller muss seinen ProdHaftG müsste die – unkörperliche – KI selbst auf diese
Betrieb so organisieren, dass Fehler durch Kontrollen Rechtsgüter „in der realen Welt“ einwirken können.
entdeckt und frühzeitig beseitigt werden können),
Nachdem eine rein unkörperliche KI letztlich nur mittelbar
durch „Werkzeuge“ eine Verletzung der genannten Rechts-
güter in der realen Welt bewirken kann, z. B. im Rahmen
9 Vgl. u. a. hierzu das vorläufige Konzeptpapier der Europäischen Kommission zu künftigen Leitlinien zur Produkthaftungsrichtlinie („Preliminary
Concept Paper for the future Guidance on the Product Liabilitiy Directive 85/374/EEC“ vom 18. September 2018) sowie die Stellungnahme
des Deutschen Anwaltvereins durch den Ausschuss Informationsrecht vom November 2018.HAFTUNG 17
des Internet of Things oder als „embedded“ Software, ist
somit der Hersteller des Produktes zunächst der Haftende.
Wenn ein Hersteller eigen- oder fremdprogrammierte KI
zur Steuerung oder Kontrolle von beweglichen Sachen nutzt,
die er in den Verkehr bringt, z. B. als Hersteller eines Roboters,
haftet er für Schäden durch den Roboter unabhängig davon,
ob der Hersteller die KI für den Roboter im eigenen Unter-
nehmen programmiert hat.
Wird ein Hersteller in Anspruch genommen, der fremd
programmierte KI in seinen Produkten verwendet, kommt
gegebenenfalls ein (vertragsrechtlicher) Regressanspruch
gegen den KI-Programmierer in Betracht. Da schon heute
vielfach Open Source Software (OSS) verwandt wird, die
zum einen einem eigenen (haftungsausschließenden) Haf-
tungsregime folgt, das nicht auf deutschem Recht beruht,
zum anderen üblicherweise viele Entwickler an der Ent-
wicklung von OSS beteiligt sind und sich ein Verschuldens-
anteil Einzelner mithin nicht feststellen lassen wird, wird
ein solcher Regressanspruch aber in den meisten Fällen
faktisch ins Leere laufen.
Diese Lösung erscheint zumindest im Licht der Innovations-
geschwindigkeit von OSS nachvollziehbar und führt für
den Hersteller, da er bewusst OSS einsetzt, auch nicht zu
unbilligen Ergebnissen. § 3 Abs. 1 Nr. 2 ProdHaftG schützt
den Verkehr auch bei einem „billigerweise zu erwartenden“
Gebrauch. schnell fortschreitende Digitalisierung sollte die Gesetzge-
bung gegebenenfalls darüber nachdenken, verpflichtende
Stammt die KI von einem anderen Unternehmen als dem Sicherungsmaßnahmen wie für kritische Infrastrukturen
Hersteller des körperlichen Produkts, durch das die KI „wirkt“ auch auf andere Bereiche auszudehnen und somit Verpflich-
und den Schaden verursacht, und war die Nutzung der Sache tungen zu Sicherheitsupdates zum Beispiel durch die Betrei-
„durch KI“ aber bereits ohne weitere Sicherheitsvorkehrun- ber oder aber die Hersteller der KI zu erlassen.
gen in der Sache angelegt (z. B. als Zusatzfeature oder da der
Programmierer der KI vom Hersteller des körperlichen Teilweise wird angeführt, der Hersteller eines Produktes
Produktes gerade hierfür beauftragt wurde), ist dieser Fall könne sich zu leicht exkulpieren, wenn die Rechtsgutsver-
ebenfalls durch das Produkthaftungsrecht erfasst: Es stellt letzung auf einer Entscheidung der KI beruht, die diese
sich für den Hersteller des körperlichen Produkts die Frage erst aufgrund ihrer Lernfunktion nach Inverkehrbringen
des möglichen Gesamtschuldnerausgleichs mit dem Pro- erworben hat. § 1 Abs. 2 Nr. 2 ProdHaftG schließt nämlich
grammierer der KI (nach § 5 ProdHaftG), wofür es dann die Haftung für Schäden aus, die auf Fehlern beruhen, die
wiederum auf die Frage ankäme, ob die KI als Software erst nach Inverkehrbringen entstanden sind. Hiergegen lässt
Gegenstand des Produkthaftungsrechts ist. sich aber zutreffend argumentieren, dass der Fehler nicht
das im Rahmen der Lernfunktion erworbene Wissen war,
Wurde ein körperliches Produkt von einer KI „gekapert“ und sondern die von Anfang an fehlerhafte Programmierung,
war das auch nicht vorherzusehen (anders bei „vorherseh- die eine solche Entscheidung der KI erst ermöglicht hat. Von
barem Missbrauch“), liegt schon kein Fehler des Produktes anderer Seite wird eine teleologische Auslegung dieser Norm
vor. Wie in anderen Fällen einer unrechtmäßigen Handlung dahingehend erwogen, dass Fehler, die auf der Lernfunktion
(z. B. bei Hacker-Angriffen) verbleibt eine Haftung nach all- der KI beruhen, nicht unter die „Later defect defence“ fallen
gemeinen deliktsrechtlichen Regeln. Im Hinblick auf die (so auch Preliminary Concept Paper, Rz. 59 ff.).18 HAFTUNG
Da Fehler bei der Herstellung von KI nicht nur in der Pro- zur Abwendung erkannter Gefahren bleibt der Hersteller
grammierung der Algorithmen (Konstruktion), sondern auch weiterhin verpflichtet und für Schäden, die durch eine Ver-
in unzureichenden Lerndaten liegen können, wäre die bis- letzung dieser Pflichten verursacht werden, weiterhin ver-
herige Interpretation des Fehlerbegriffes für KI zu überden- antwortlich. Auch ist für den Hersteller beim Einsatz einer
ken. Auch gibt es derzeit kaum allgemein anerkannte Regeln sich selbst weiterentwickelnden KI durchaus vorhersehbar,
und Best Practices, nach denen sich bestimmen lässt, ob dass durch die KI unvorhergesehene Ergebnisse und Ent-
Algorithmen und Lerndatenbestände ausreichend und an scheidungen getroffen werden können, die neue Gefahren
gemessen sind. Diese Schwierigkeiten für die Gesetzesaus- und Risiken eröffnen.
legung und bei der Bestimmung einschlägiger technischer
Standards bestehen jedoch bei jeder neuen Technologie. Sie Im Bereich selbststeuernder Fahrzeuge wird eine Lösung
sind also nicht spezifisch für KI und sind bisher durch Ent- über die verkehrsrechtliche Gefährdungshaftung nach dem
wicklung der Rechtsprechung gelöst worden. StVG gefunden. Diese Lösungsmöglichkeit versagt jedoch
schon, wenn über einen Einsatz von selbststeuernden Hub-
Schließlich bleibt die Frage offen, ob schon jedes Software und/oder Transportfahrzeugen in Produktions- und Logis-
update für KI ein neues Inverkehrbringen des mit der KI tikbereichen nachgedacht wird, in welchen das StVG nicht
ausgestatteten Ursprungsproduktes darstellt, selbst wenn gilt, mithin die Haftungslage unklar ist. Die verschuldens
es nur eine Fehlerbehebung wäre. Dies würde zu einer Aus- abhängige Produzentenhaftung kommt hier nicht zu sach-
weitung der Produkthaftung führen, die heute im Gesetz gerechten Ergebnissen. Um keine Haftungslücken entstehen
nicht vorgesehen ist. Insoweit muss zukünftig eine trenn- zu lassen, wird nunmehr häufiger gefordert, eine Parallele zur
scharfe Definition erfolgen, die zwischen zusätzlichen Funk Gefährdungshaftung, wie sie beispielsweise für Tierhalter in
tionalitäten für die KI, die dann daraus ein neues Produkt § 833 BGB vorgesehen ist, zu ziehen. Bei einer Gefährdungs
machen würden, und reinen Fehlerbehebungen unterscheidet. haftung soll immer derjenige, der zu seinem Nutzen recht-
Soweit diese Frage geklärt wird, kann mit den bisherigen mäßig einen gefährlichen Betrieb eröffnet und unterhält,
Kriterien des Produkthaftungsrechtes eine rechtlich ein- auch den Schaden tragen, der in der Verwirklichung des Risi-
wandfreie Lösung gefunden werden. kos bei anderen entsteht und von diesem nicht verhindert
werden kann.
III. Haftet der Hersteller im Sinne der Produzenten Das oben skizzierte Beispiel zeigt durchaus Parallelen. Da
haftung für die KI? sich das System, in welchem die KI eingesetzt wird, selb-
ständig weiterentwickelt und Entscheidungen trifft, stellt
Anders als bei der Produkthaftung kommt eine Verant- der Einsatz dieser Systeme eine Risikoquelle dar, für die der
wortlichkeit des Herstellers nach den Grundsätzen der Pro- Verwender aufgrund der bewussten Entscheidung, dieses
duzentenhaftung (§ 823 Abs. 1 BGB) nur in Betracht, wenn System einzusetzen, auch haften sollte.
der Hersteller einen Schaden vorsätzlich oder fahrlässig
verursacht hat. Der Gesetzgeber sollte die weitere Entwicklung sensibel
beobachten.
Dazu muss der Schaden einem Hersteller zugerechnet, d. h.
kausal auf eine Pflichtverletzung des Herstellers zurückge-
führt werden. KI ist jedoch geradezu darauf angelegt, Ergeb IV. Sind die bisherigen Ergebnisse der AG4 vor diesem
nisse zu produzieren, die nicht in der konkret eintretenden Hintergrund beim Einsatz von KI haltbar?
Form vorhersehbar sind. Es ist fraglich, ob dem Hersteller
ein Fahrlässigkeitsvorwurf für die Verursachung eines Scha- Im Rahmen der Publikation „Wie das Recht Schritt hält“
dens zu machen ist, dessen Eintritt er nicht voraussehen und aus dem Oktober 2016 befasste sich die AG 4 bereits erst-
daher auch nicht verhindern kann. Diese Überlegung kann malig mit dem Produkthaftungsrecht im Industrie 4.0-
jedoch den Produzenten nicht insgesamt von einer Haftung Umfeld.
nach § 823 Abs. 1 BGB befreien. Denn die fehlende Voraus-
sehbarkeit eines Schadens kann den Hersteller höchstens von Grundtenor war, dass die aktuelle Rechtslage keine Rege-
der Pflicht befreien, den Nutzer vorab auf solche Schadens- lungslücken aufwies, die aus Sicht der Unterarbeitsgruppe
möglichkeiten hinzuweisen. Zur sorgfältigen Organisation ein sofortiges Einschreiten des Gesetzgebers erfordert hätten.
des Programmierprozesses, zur Produktbeobachtung und Das Produkthaftungsrecht einerseits und das allgemeineSie können auch lesen
