VERTRAUENSWÜRDIGER EINSATZ VON KÜNSTLICHER INTELLIGENZ - KI.NRW
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
F R A U N H O F E R - I N S T I T U T F Ü R I N T E L L I G E N T E A N A LY S E - U N D I N F O R M A T I O N S S Y S T E M E I A I S VERTRAUENSWÜRDIGER EINSATZ VON KÜNSTLICHER INTELLIGENZ HANDLUNGSFELDER AUS PHILOSOPHISCHER, ETHISCHER, RECHTLICHER UND TECHNOLOGISCHER S I C H T A L S G R U N D L A G E F Ü R E I N E Z E RT I F I Z I E R U N G V O N K Ü N S T L I C H E R I N T E L L I G E N Z In Kooperation mit Gefördert durch
F R A U N H O F E R - I N S T I T U T F Ü R I N T E L L I G E N T E A N A LY S E - U N D I N F O R M A T I O N S S Y S T E M E I A I S VERTRAUENSWÜRDIGER EINSATZ VON KÜNSTLICHER INTELLIGENZ HANDLUNGSFELDER AUS PHILOSOPHISCHER, ETHISCHER, RECHTLICHER UND TECHNOLOGISCHER SICHT ALS GRUNDLAGE FÜR EINE ZERTIFIZIERUNG VON KÜNSTLICHER INTELLIGENZ Autorinnen und Autoren Prof. Dr. Armin B. Cremers | Fraunhofer IAIS Dr. Alex Englander | Universität Bonn Prof. Dr. Markus Gabriel | Universität Bonn Dr. Dirk Hecker | Fraunhofer IAIS PD Dr. Michael Mock | Fraunhofer IAIS Dr. Maximilian Poretschkin (Projektleitung) | Fraunhofer IAIS Julia Rosenzweig | Fraunhofer IAIS Prof. Dr. Dr. Frauke Rostalski (Projektleitung) | Universität zu Köln Joachim Sicking | Fraunhofer IAIS Dr. Julia Volmer | Fraunhofer IAIS Jan Voosholz (Projektleitung) | Universität Bonn Dr. Angelika Voss | Fraunhofer IAIS Prof. Dr. Stefan Wrobel | Fraunhofer IAIS In Kooperation mit Gefördert durch
INHALT
Grußwort 4
Vorwort 5
Vorbemerkungen 6
1 Einleitung 7
2 Informatische, philosophische und rechtliche Perspektiven 10
2.1 Ausgangslage und Fragen aus der Informatik 10
2.2 Ausgangslage und Fragen aus der Philosophie 11
2.3 Ausgangslage und Fragen aus dem Recht 12
2.4 Interdisziplinäre Betrachtung 13
3 Handlungsfelder der Zertifizierung 15
3.1 Autonomie und Kontrolle 15
3.2 Fairness 16
3.3 Transparenz 17
3.4 Verlässlichkeit 18
3.5 Sicherheit 18
3.6 Datenschutz 18
4 Ausblick 20
5 Impressum 21
3V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
GRUSSWORT
Liebe Leserinnen und Leser, Mit der von uns ins Leben gerufenen Zertifizierung von Künst-
licher Intelligenz wollen wir aus Nordrhein-Westfalen heraus
wir leben im Zeitalter der Digitalisierung. Daten sind der die Qualitätsmarke »KI Made in Germany« weiter etablieren,
Treibstoff und Künstliche Intelligenz (KI) ist der Motor, um die indem sie zuverlässige, sichere Technologien erkennbar macht
Ressource Daten zum Nutzen für Wirtschaft und Gesellschaft und nachhaltig schützt. Die Zertifizierung fördert den freien
einzusetzen. Alle Studien sind sich einig, dass Künstliche Wettbewerb unterschiedlicher Anbieter und leistet einen
Intelligenz in signifikantem Umfang das weltweite Wirtschafts- Beitrag zur Akzeptanz von Künstlicher Intelligenz in der
wachstum erhöhen wird. Darüber hinaus hat sie das Potenzial, Gesellschaft.
einen Beitrag zur Bewältigung der großen gesellschaftlichen
Herausforderungen wie Klimawandel, Mobilität und Gesund- Die Zertifizierung wird federführend von hochrangigen Exper-
heit zu leisten. Dieses Potenzial gilt es zu erschließen. Wichtig tinnen und Experten aus den Bereichen Maschinelles Lernen,
ist dabei, den Menschen in den Mittelpunkt zu stellen. Für die- Rechtswissenschaften, Philosophie, Ethik und IT-Sicherheit
ses große Zukunftsthema brauchen wir einen gesellschaftlichen entwickelt. In einem offen gestalteten Prozess mit einer
Dialog über das Verhältnis von Mensch und Maschine sowie ein breiten Beteiligung von Akteuren aus Wirtschaft, Forschung
verlässliches ethisch-rechtliches Fundament. und Gesellschaft sollen die Grundprinzipien für eine technisch
zuverlässige und ethisch verantwortungsvolle Künstliche
Nordrhein-Westfalen hat bereits heute eine führende Intelligenz entwickelt werden. Wir freuen uns sehr, dass wir
Position in der Entwicklung und Anwendung von Künstlicher diese Initiative mit Strahlkraft über Deutschland hinaus aus
Intelligenz. Wir verfügen im Land über viele erstklassige NRW heraus initiieren und fördern dürfen.
Hochschulen und außeruniversitäre Forschungseinrichtungen,
an denen KI-Spitzenforschung mit internationaler Sichtbarkeit Die vorliegende Veröffentlichung bildet die Grundlage für die
durchgeführt wird. In der Wirtschaft haben einige große Entwicklung der KI-Zertifizierung. Sie erläutert die Handlungs-
Unternehmen aus NRW heraus umfassende Kompetenzen im felder, entlang derer der vertrauensvolle Einsatz von Künstlicher
Bereich der Künstlichen Intelligenz aufgebaut und den Weg Intelligenz erfolgen muss. Gleichzeitig möchte sie auch zum
der digitalen Transformation beschritten. Und nicht zuletzt gesellschaftlichen Diskurs zu dieser Zukunftstechnologie
sind die Rahmenbedingungen für Start-ups in NRW sehr anregen, die wir in Nordrhein-Westfalen gemeinsam im Dialog
günstig, und es haben sich bereits viele neue, auf Künstlicher mit Ihnen gestalten wollen.
Intelligenz basierende Geschäftsmodelle etabliert. Mit der von
uns initiierten Kompetenzplattform KI.NRW vernetzen wir die Mit herzlichen Grüßen,
Akteure im Bereich der Künstlichen Intelligenz und stärken den
Technologietransfer von der Forschung in die Praxis sowie die
berufliche Qualifizierung. Künstliche Intelligenz erhöht aber nur Prof. Dr. Andreas Pinkwart
dann den Wohlstand und die Lebensqualität der Menschen, Minister für Wirtschaft, Innovation,
wenn Werten wie Selbstbestimmung, Diskriminierungsfreiheit, Digitalisierung und Energie des
Datenschutz und Sicherheit Rechnung getragen wird. Landes Nordrhein-Westfalen
4V orwort
VORWORT
Liebe Leserinnen und Leser, Faires Verhalten der KI-Anwendung gegenüber allen Beteilig-
ten, die Anpassung an die Bedürfnisse der Nutzerinnen und
Künstliche Intelligenz (KI) verändert Gesellschaft, Wirtschaft Nutzer, eine verständliche, verlässliche und sichere Funktions-
und unseren Alltag in grundlegender Weise und eröffnet weise, sowie der Schutz sensibler Daten sind zentrale Kriterien,
große Chancen für unser Zusammenleben. Sie hilft zum die beim vertrauenswürdigen Einsatz einer KI-Anwendung zu
Beispiel Ärzten, Röntgenbilder besser und oftmals auch erfüllen sind.
exakter auszuwerten, beantwortet in Form von Chatbots
Fragen zu Versicherungspolicen und anderen Produkten und Die hier vorgestellten Handlungsfelder bilden die Grundlage
wird in absehbarer Zeit Autos immer selbstständiger fahren für einen KI-Prüfkatalog, den wir aktuell parallel erarbeiten und
lassen. Gleichzeitig wird stets deutlicher, dass eine sorgfältige mithilfe dessen neutrale Prüfer KI-Anwendungen auf ihren ver-
Gestaltung solcher Anwendungen notwendig ist, damit wir die trauenswürdigen Einsatz hin überprüfen können. Als wichtiger
Chancen der Künstlichen Intelligenz im Einklang mit unseren Partner für die Erarbeitung dieses Prüfkatalogs ist zudem das
gesellschaftlichen Werten und Vorstellungen nutzen können. Bundesamt für Sicherheit in der Informationstechnik (BSI) mit
seiner langen Erfahrung in der Entwicklung von sicheren IT-
Künstliche Intelligenz hat das Potenzial, die Fähigkeiten des Standards beteiligt. Mit der Zertifizierung wollen wir wesentlich
Menschen zu erweitern und hilft uns, neue Erkenntnisse zu ge- dazu beitragen, Qualitätsstandards für eine Künstliche Intelli-
winnen. Entscheidungen von ihren durch Maschinelles Lernen genz »Made in Europe« zu setzen, den verantwortungsvollen
automatisierten oder teilautomatisierten Ergebnissen abhängig Umgang mit der Technologie zu sichern und einen fairen
zu machen, stellt uns aber auch vor grundlegend neue Wettbewerb verschiedener Anbieter zu befördern.
Herausforderungen. Neben Fragen der technischen Eignung
sind dies grundsätzliche philosophisch-ethische Erwägungen, Das vorliegende Whitepaper soll zum gesellschaftlichen Diskurs
aber auch rechtliche Fragestellungen. So wirft die Möglichkeit über den Einsatz von Künstlicher Intelligenz beitragen. Denn es
»autonom« reagierender intelligenter Maschinen ein neues ist an uns allen mitzuentscheiden, wie die Welt aussehen soll,
Licht auf die individuelle Haftung und Verantwortung von Per- in der wir morgen leben.
sonen und damit auf Grund und Kriterien von »Zurechnung«.
Um sicherzustellen, dass der Mensch stets im Mittelpunkt In diesem Sinne wünschen wir eine spannende und erkenntnis-
dieser Entwicklung steht, ist daher ein enger Austausch über reiche Lektüre.
Künstliche Intelligenz zwischen Informatik, Philosophie und
Rechtswissenschaften notwendig.
Prof. Dr. Markus Gabriel
Angesichts des schnellen Vordringens von Künstlicher Intelli- Professor für Philosophie
genz in nahezu jedweden gesellschaftlichen Bereich, haben Universität Bonn
wir uns zum Ziel gesetzt, im interdisziplinären Austausch eine
Zertifizierung von Künstlicher Intelligenz zu entwickeln. Die Prof. Dr. Dr. Frauke Rostalski
vorliegende Publikation bildet den Auftakt hierzu und diskutiert Professorin für Rechtswissenschaft
aktuelle Herausforderungen der Künstlichen Intelligenz aus der Universität Köln
Sicht von Informatik, Philosophie und Rechtswissenschaften.
Aufbauend auf diesem interdisziplinären Austausch formuliert Prof. Dr. Stefan Wrobel
sie KI-spezifische Handlungsfelder für den vertrauenswürdigen Institutsleiter Fraunhofer IAIS &
Einsatz von Künstlicher Intelligenz. Professor für Informatik
Universität Bonn
5V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
VORBEMERKUNGEN
Executive Summary zugrundeliegenden Technik entwickelt. Die philosophisch-
ethische Sichtweise auf das Problem, insbesondere die Rolle
Die vorliegende Publikation dient als Grundlage für die der ethischen Konzepte von Autonomie, Freiheit und Selbst-
interdisziplinäre Entwicklung einer Zertifizierung von Künst- bestimmung des Menschen, wird in Abschnitt 2.2 beleuchtet.
licher Intelligenz. Angesichts der rasanten Entwicklung von Die Grundlagen der sich daraus ergebenden rechtlichen
Künstlicher Intelligenz mit disruptiven und nachhaltigen Folgen Anforderungen werden in Abschnitt 2.3 besprochen, mit
für Wirtschaft, Gesellschaft und Alltagsleben verdeutlicht sie, besonderem Fokus auf Verantwortlichkeit, Nachvollziehbarkeit
dass sich die hieraus ergebenden Herausforderungen nur im und Haftung für KI-Anwendungen. Abschnitt 2.4 stellt
interdisziplinären Dialog von Informatik, Rechtswissenschaften, die Auswirkungen der unterschiedlichen interdisziplinären
Philosophie und Ethik bewältigen lassen. Als Ergebnis dieses Perspektiven, insbesondere im Hinblick auf die Gestaltung
interdisziplinären Austauschs definiert sie zudem sechs KI- konkreter KI-Anwendungen dar. In Kapitel 3 werden dann die
spezifische Handlungsfelder für den vertrauensvollen Einsatz konkreten fundamentalen Handlungsfelder motiviert und in
von Künstlicher Intelligenz: Sie umfassen Fairness, Transparenz, eigenen Abschnitten erläutert, von Autonomie und Kontrolle
Autonomie und Kontrolle, Datenschutz sowie Sicherheit und in Abschnitt 3.1 über Fairness, Transparenz, Verlässlichkeit und
Verlässlichkeit und adressieren dabei ethische und rechtliche Sicherheit bis zu Datenschutz im Abschnitt 3.6. In Kapitel 4
Anforderungen. Letztere werden mit dem Ziel der Operationali- geben wir schließlich einen Ausblick auf die geplanten weiteren
sierbarkeit weiter konkretisiert. Schritte bei der Entwicklung einer Zertifizierung.
Aufbau des Whitepapers Kontext
Die interdisziplinäre Betrachtung des Themas spiegelt sich Das vorliegende Whitepaper ist das erste Ergebnis eines inter-
in der Kapitelstruktur dieses Whitepapers wider. Kapitel 1 disziplinären Projekts der Kompetenzplattform KI.NRW mit dem
gibt eine Einleitung in die Thematik und motiviert die Not Ziel, eine Zertifizierung für KI-Anwendungen zu entwickeln, die
wendigkeit einer Zertifizierung von Künstlicher Intelligenz. neben der Absicherung der technischen Zuverlässigkeit auch
In Abschnitt 2.1 wird ein grundlegendes Verständnis der einen verantwortungsvollen Umgang aus ethisch-rechtlicher
Funktionsweise, Möglichkeiten und Beschränkungen der Perspektive prüft.
6E inleitung
1 EINLEITUNG
Jede Zeit hält ihre Herausforderungen bereit. Wir leben im Die gesteigerte Produktivität geht gleichzeitig einher mit
Zeitalter der Digitalisierung. Die neuen Technologien verändern einer Entlastung der Menschen, die in bestimmten Bereichen
unser Miteinander gravierend. Sie durchdringen nahezu jed- weniger monotone oder schwere Arbeiten verrichten müssen.
weden gesellschaftlichen Bereich – sei es die Arbeitswelt, den
Straßenverkehr, den Gesundheitssektor oder schlicht die Art Allgemein wird erwartet, dass die Zahl der KI-Anwendungen
und Weise, wie wir Menschen miteinander kommunizieren. in den nächsten Jahren exponentiell wachsen wird. McKinsey
Auch wenn sich vieles davon im Stillen oder als schleichender prognostiziert bis 2030 global bis zu 13 Billionen Dollar
Prozess vollzieht, ist die Geschwindigkeit im Vergleich zu zusätzliche Wertsteigerung durch Künstliche Intelligenz1.
früheren gesellschaftlichen Veränderungen beispiellos und Weiterhin wird prognostiziert, dass Künstliche Intelligenz
hätte unsere Vorfahren zu Zeiten der industriellen Revolution 1,2 Prozentpunkte zum jährlichen Wachstum des globalen
im 18. und 19. Jahrhundert in Angst und Schrecken versetzt. Bruttoinlandprodukts beiträgt. Somit sind die Auswirkungen
mindestens vergleichbar mit dem Produktivitätswachstum
Eine zentrale Antriebsfeder der Digitalisierung ist die rasante der vorangegangenen industriellen Revolutionen, wie der
Entwicklung der Künstlichen Intelligenz (KI), die ausgelöst Dampfmaschine (0,3 Prozentpunkte), den Industrierobotern
wurde durch Durchbrüche in sogenannten tiefen künstlichen (0,4 Prozentpunkte) oder der Verbreitung der Informations-
neuronalen Netzen auf hochleistungsfähigen Rechnern. In technologie (0,6 Prozentpunkte). Dieses beeindruckende
Spezialgebieten wie der Bilderkennung oder komplexen Wachstum beruht auf immer mehr verfügbaren und
Strategiespielen können KI-Anwendungen sogar die besten verknüpfbaren Daten, einer höheren Vernetzung und einer
menschlichen Experten schlagen. Künstliche Intelligenz immer besseren Rechenleistung, die einen größeren Grad an
eröffnet große Chancen für neue technische Anwendungen, Automatisierung und Individualisierung von Produkten und
digitale Geschäftsmodelle und praktische Erleichterungen im Dienstleistungen erlauben. Die Individualisierung ist hierbei
Alltagsleben. Ihre Anwendungen verbreiten sich unaufhaltsam umso erfolgreicher, je mehr Informationen über Nutzer2 und
in vielfältigen Bereichen. Automatisierte Übersetzungshilfen, Kunden bekannt sind.
Sprachassistenten in den Wohnungen oder selbstfahrende
Autos sind nur einige bekannte Beispiele. Künstliche Intelligenz Dabei liegt auf der Hand, dass der Einsatz von KI-
besitzt ein disruptives Potenzial: Die wissenschaftlichen und Anwendungen in kurzer Zeit Auswirkungen auf das gesamte
wirtschaftlichen Anwendungsmöglichkeiten sind derart gesellschaftliche Miteinander haben wird. Dies wird am
weitreichend, dass derzeit kaum abzusehen ist, wie unsere Beispiel der Überwachungssysteme besonders augenfällig.
Erkenntnis- und Handlungsweisen durch Künstliche Intelligenz So wurde Personenerkennung in Pilotprojekten auch in
verändert werden. Außerdem werden Problemkontexte Deutschland bereits erprobt, wie zum Beispiel am Bahnhof
entstehen, auf die wir mit unseren traditionellen rechtlichen, Berlin Südkreuz, wobei die Ergebnisse unter anderem
politischen, ethischen und sozialen Mitteln nicht ausreichend allerdings als zu fehlerhaft bewertet wurden. Dies zeigt
reagieren können. Die KI-Forschung verbessert die Generali- zum einen, dass die Frage nach der Zuverlässigkeit bei
sierbarkeit und Übertragbarkeit von Anwendungen auf neue KI-Anwendungen im Gegensatz zu herkömmlicher Software
Kontexte und verdrängt so sukzessive ältere Technologien. Her- neue Herausforderungen stellt, zum anderen ist es jedoch
kömmliche Wertschöpfungsketten werden disruptiv verändert. aus technischer Sicht nur noch eine Frage der Zeit und des
1 Notes from the frontier modelling the impact of AI on the world economy, Discussion Paper, McKinsey Global Institute, September 2018,
www.mckinsey.com/mgi
2 Im Interesse einer besseren Lesbarkeit wird nicht ausdrücklich in geschlechtsspezifischen Personenbezeichnungen differenziert.
Die gewählte männliche Form schließt eine adäquate weibliche Form gleichberechtigt ein.
7V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
Aufwands, bis eine hinreichende Zuverlässigkeit – zumindest Rahmenbedingungen konkretisiert oder neu geschaffen
für den hier betrachteten Fall von Personenerkennungen auf werden. Umgekehrt muss jedoch vermieden werden, dass
Überwachungssystemen – erreicht werden kann. Prinzipiell eine Überregulierung innovationshemmend wirkt oder
ließe sich auch eine KI-basierte Intentionserkennung mit der aufgrund der Dynamik des technologischen Fortschritts zu
Personenerkennung kombinieren, so dass es eventuell sogar schnell veraltet und somit gar nicht anwendbar ist. Denn die
möglich wäre, gezielt Alarm zu schlagen, wenn sich Perso- Ethik steht nicht ein- für allemal fest, weshalb es angesichts
nen im öffentlichen Raum auffällig verhielten. Es stellt sich gesellschaftlicher und technologischer Umbrüche stets die
unmittelbar die Frage, inwieweit eine solche Überwachung – Möglichkeit ethischen Fort- und Rückschritts gibt.
selbst bei optimaler Funktionsweise – nach geltendem Recht
zulässig wäre oder ob bzw. wie das Recht hierfür geändert Entwicklung einer Zertifizierung von KI-Anwendungen
werden müsste. Auf diese Weise entstehen neue ethische
Fragestellungen, da gesellschaftlicher Klärungsbedarf Da KI-Anwendungen oft auf besonders großen Datenmengen
besteht, welche KI-Anwendungen wir überhaupt zulassen und dem Einsatz hochkomplexer Modelle beruhen, ist es für
sollten. Recht und Ethik müssen in diesen neuen Handlungs- Anwender in der Praxis schwierig zu überprüfen, inwiefern die
situationen kooperieren. zugesicherten Eigenschaften erfüllt werden. Eine Zertifizierung
von KI-Anwendungen, die auf einer sachkundigen und
Das Szenario verdeutlicht, dass sich das prognostizierte neutralen Prüfung beruht, kann hier Vertrauen und Akzeptanz
wirtschaftliche Wachstum auf Dauer nur dann realisieren schaffen – sowohl bei Unternehmen als auch bei Nutzern und
lässt, wenn ein ausreichendes Vertrauen in die KI- gesellschaftlichen Akteuren.
Technologie vorliegt. Um Vertrauen herzustellen, muss eine
KI-Anwendung überprüfbar so konstruiert werden, dass Angesichts der dargestellten Herausforderungen beim Einsatz
sie sicher und zuverlässig funktioniert sowie ethischen und von Künstlicher Intelligenz hat sich die Kompetenzplattform
rechtlichen Rahmenbedingungen genügt. Dazu muss neben KI.NRW das Ziel gesetzt, eine durch akkreditierte Prüfer
der technischen Absicherung auch geklärt werden, unter operativ durchführbare Zertifizierung für KI-Anwendungen
welchen Voraussetzungen der Einsatz ethisch vertretbar ist zu entwickeln, die neben der Absicherung der technischen
und welche Anforderungen sich insbesondere aus rechtlicher Zuverlässigkeit auch einen verantwortungsvollen Umgang
Sicht ergeben. Die damit verbundenen Herausforderungen aus ethisch-rechtlicher Perspektive prüft. Das Zertifikat soll
berühren Grundsatzfragen, die sich nur in einem interdis- einen Qualitätsstandard bescheinigen, der es den Anbietern
ziplinären Austausch zwischen Informatik, Philosophie und erlaubt, KI-Anwendungen überprüfbar rechtskonform und
Rechtswissenschaften angehen lassen. Da Künstliche Intel- ethisch akzeptabel zu gestalten und der es zudem ermöglicht,
ligenz in nahezu alle gesellschaftlichen Sphären vordringt, KI-Anwendungen unterschiedlicher Anbieter zu vergleichen
sind davon rechtlich schutzwürdige Interessen einer Vielzahl und so den freien Wettbewerb in der Künstlichen Intelligenz
an Akteuren betroffen. Eventuell müssen hier rechtliche zu fördern.
ETH I K & R EG U L I ER U N G
A N FO RD ERU N G S-
K A TA LO G
T E S T S & K A L IBRIE RU NG
( U S E CA S E S )
AKTUEL LE F ORSCHUNG
8E inleitung
Neben der Forderung, dass eine KI-Anwendung ethischen hat die EU-Kommission eine sogenannte HLEG (High-Level
und rechtlichen Grundsätzen entsprechen muss, wurden im Expert Group) für Künstliche Intelligenz ins Leben gerufen.
interdisziplinären Dialog sechs KI-spezifische Handlungsfelder Sie hat im April 2019 Empfehlungen dafür formuliert, welche
identifiziert und so zugeschnitten, dass sie möglichst von Aspekte bei der Entwicklung und Anwendung von Künstlicher
jeweils verschiedenen Fachexperten geprüft werden können. Intelligenz zu berücksichtigen sind3. Das vorliegende White
Dabei werden die Anforderungen dieser Handlungsfelder paper nimmt diese Empfehlungen auf, differenziert sie aus und
aus bestehenden ethischen, philosophischen und rechtlichen geht an einigen Stellen über sie hinaus. Dies ist deswegen ge-
Grundsätzen (wie zum Beispiel dem allgemeinen Gleichbe- boten, da die Empfehlungen der HLEG vorrangig allgemeiner
handlungsgrundsatz) abgeleitet. Sie umfassen die Bereiche Natur sind und bisher weder rechtliche Aspekte – insbesondere
Fairness, Transparenz, Autonomie und Kontrolle, Datenschutz nicht die Spezifika der jeweiligen nationalen Rechtssysteme –,
sowie Sicherheit und Verlässlichkeit. Während die Sicherheit noch operationalisierbare ethische Vorgaben mit dem klaren
die üblichen Aspekte der Betriebssicherheit umfasst, betrifft Ziel der Zertifizierung in den Blick nehmen. Insoweit geht die
die Verlässlichkeit die besonderen Prüfungsherausforderungen vorliegende Publikation im Vergleich mit den Vorschlägen
von komplexen KI-Modellen wie tiefen neuronalen Netzen. der HLEG sowohl in die Breite als auch in die Tiefe: Es nimmt
neben der philosophischen Ethik das Recht in den Blick und
Die Frage, wie KI-Anwendungen verantwortlich und zuver- setzt beide zueinander in Beziehung. Um den Anforderungen
lässig eingesetzt werden können, ist bereits seit einiger Zeit der Operationalisierbarkeit zu genügen, sind die auf diese
Gegenstand intensiver gesellschaftlicher und wissenschaftlicher Weise erarbeiteten Handlungsfelder an vielen Stellen außerdem
Diskussionen im internationalen Raum. Auf europäischer Ebene spezifischer und tiefer ausgeführt als die Kategorien der HLEG.
3 https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai
9V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
2 INFORMATISCHE, PHILOSOPHISCHE UND
RECHTLICHE PERSPEKTIVEN
2.1 Ausgangslage und Fragen aus der Informatik Eine wichtige und große Klasse von ML-Modellen bilden
die tiefen neuronalen Netze. Sie bestehen aus einer Vielzahl
1956 entstand Künstliche Intelligenz als Teilgebiet der Infor- durch Software realisierter sogenannter künstlicher Neuronen,
matik mit dem Ziel, intelligentes Verhalten zu automatisieren. die durch gewichtete Verbindungen miteinander verknüpft
Inspiriert durch Kybernetik, Kognitions- und Neurowissen- sind. Ein solches Netz enthält Tausende bis Millionen offener
schaften wurden vielfältige Techniken entwickelt. Dazu zählen Parameter, die auf die Trainingsdaten optimiert werden.
intelligente Agenten, die über Sensoren und Aktuatoren mit
der Umgebung oder auch untereinander interagieren, die Aufbau einer KI-Anwendung
Kombination von Logiksystemen mit Heuristiken, Methoden
zur symbolischen Wissensrepräsentation und -auswertung Die Funktion einer KI-Anwendung5 wird wesentlich bestimmt
sowie das Maschinelle Lernen (ML) mit statistischen Verfahren durch die antrainierten ML-Modelle mit ihren Berechnungs-
und Optimierung, die gerade in der jüngeren Entwicklung verfahren und möglicherweise weiteren Vor- und Nachverar-
einen enormen Zuwachs verzeichnet haben. Bald nach Entste- beitungsprozeduren. Dieser Kern einer jeden KI-Anwendung
hen der Disziplin hat man sich auch schon kritisch mit einem wird im Folgenden als »KI-Komponente« bezeichnet. Die
verantwortungsvollen Umgang auseinandergesetzt4. KI-Komponente ist immer in weitere Software-Module
der KI-Anwendung eingebettet. Die Module aktivieren die
Viele KI-Techniken beruhen auf der Anwendung von Modellen, KI-Komponente und verarbeiten ihre Ergebnisse weiter. Sie
die Wissen und Erfahrung über spezifische Aufgaben enthal- realisieren letztendlich das nach außen sichtbare »Verhalten«
ten. Beim Maschinellen Lernen erzeugen Lernalgorithmen das der KI-Anwendung und sind für die Interaktion mit dem
Modell aus vielen Beispielen, den sogenannten Trainingsdaten. Nutzer zuständig. Insbesondere obliegt es ihnen, ein Versagen
Zu jeder Art von Modell gibt es Berechnungs- oder »Inferenz der KI-Komponente festzustellen und abzufangen sowie auf
verfahren«, die für eine Eingabe eine Ausgabe erzeugen. Störungen und Notfälle zu reagieren. Eine KI-Anwendung
Damit kann das Modell anschließend auf neue, potenziell kann selbstständig sein oder Teil eines Systems. Zum Beispiel
unbekannte Daten derselben Art angewendet werden. kann die Fußgängererkennung als eine KI-Anwendung in
Immer wenn Prozesse zu kompliziert sind, um sie analytisch einem autonomen Auto, in einer Drohne oder in einem Ge-
zu beschreiben, aber genügend viele Beispieldaten – etwa ländeüberwachungssystem integriert sein. Bei der Diskussion
Sensordaten, Bilder oder Texte – verfügbar sind, bietet sich und Beurteilung einer KI-Anwendung besteht ein erster
Maschinelles Lernen an. Mit den gelernten Modellen können wichtiger Schritt darin, die Grenzen der KI-Anwendung im
Vorhersagen getroffen oder Empfehlungen und Entscheidun- Gesamtsystem zu definieren und die KI-Komponente in der
gen generiert werden – ganz ohne im Vorhinein festgelegte KI-Anwendung abzugrenzen.
Regeln oder Berechnungsvorschriften.
4 Joseph Weizenbaum. Die Macht der Computer und die Ohnmacht der Vernunft. Suhrkamp Verlag, 1. Aufl. (1977).
Armin B. Cremers et al. (Hsg. i.A. des Vereins Deutscher Ingenieure). Künstliche Intelligenz. Leitvorstellungen und Verantwortbarkeit.
VDI-Report 17, 189 S. 2. Aufl. (1993), VDI-Report 21, 121 S. (1994).
5 Die folgende Diskussion setzt den Fokus auf das Maschinelle Lernen als Schlüsseltechnologie zur Realisierung von Künstlicher Intelligenz.
10I nformatische , philosophische und rechtliche P erspektiven
Herausforderungen beim Einsatz von ML-Modellen Testen von ML-Modellen
Klassische Softwaretestmethoden scheitern, weil sich die
Abhängigkeit von den Trainingsdaten Modelle nicht in immer kleinere, separat prüfbare Einheiten
Eine konkrete Anfrage an eine KI-Komponente liefert die zerlegen lassen. Es ist im Allgemeinen nicht einmal möglich,
Eingabe für das ML-Modell, aus dessen Berechnungsergebnis eine Formel zu finden, um zulässige Eingaben zu charak-
die KI-Komponente eine Antwort oder Reaktion erzeugt. Da terisieren. Dies wurde eindrücklich demonstriert, als eine
KI-Anwendungen ihr »Verhalten« aus der Verallgemeinerung automatische Verkehrszeichenerkennung durch unauffällige
von Beispieldaten »lernen«, hängt die Qualität der KI- Aufkleber auf den Schildern völlig in die Irre geführt wurde.
Anwendung erheblich von der Güte und den Eigenschaften An Stelle des modularen Testens tritt hier das quantitative
der verwendeten Datenbestände ab. Wenn die Trainingsdaten Testen des Modells anhand von separaten Testdaten, die
statistisch nicht repräsentativ für die Daten sind, die im Betrieb dieselbe statistische Verteilung wie Trainingsdaten und
anfallen, kann es passieren, dass die Ergebnisse in eine Rich- Einsatzdaten haben sollten.
tung »verzerrt« werden. Darum muss im Betrieb regelmäßig
kontrolliert werden, wie gut die Datenverteilungen zueinander Selbstlernen im Betrieb
passen und ob sie auseinanderlaufen. Prinzipiell können ML-Modelle im laufenden Betrieb automa-
tisch weiterlernen, zum Beispiel, indem das Nutzerfeedback
Probabilistischer Charakter mit herangezogen wird. Das ML-Modell unterliegt dann
Aufgrund der statistischen Natur des Modells sowie qualitativen einer kontinuierlichen Veränderung. Ein bekanntes Beispiel
Unsicherheiten von Eingabe- und Lerndaten sind die Ergebnisse ist der Chatbot Tay von Microsoft, der innerhalb eines Tages
approximativ und mit mehr oder weniger Unsicherheit behaf- von seinen Nutzern viele rassistische Äußerungen lernte
tet. Oft gibt es faktisch auch gar keine eindeutig richtige oder und daraufhin aus dem Verkehr gezogen wurde. Da es
falsche Antwort. Die KI-Komponente könnte die besten Alter- ausgesprochen schwierig ist, »Leitplanken« zu konstruieren,
nativen ausgeben, zusammen mit einer Unsicherheitsangabe. innerhalb derer eine KI-Komponente weiterlernen darf, stellt
Bei der Interpretation solcher Ergebnisse muss der Mensch der kontrollierte Einsatz von solchen KI-Anwendungen zurzeit
innerhalb seines Ermessensspielraums entscheiden. Bei einer noch eine ungelöste Herausforderung dar. Die derzeit beste
vollautomatisierten Anwendung müssen entsprechende Vor- Absicherung in diesem Fall ist die engmaschige Überwachung
kehrungen im umgebenden Gesamtsystem getroffen werden, der KI-Anwendung durch Menschen.
zu dem wiederum der Mensch wesentlich hinzugehört.
2.2 Ausgangslage und Fragen aus der Philosophie
Verständlichkeit und Transparenz des ML-Modells und
seiner Ergebnisse An die Philosophie, besonders ihre Subdisziplin Ethik, wird
Viele ML-Modelle sind sogenannte »Black Boxes«. Unter einer aktuell der Wunsch herangetragen, eine Ethik der Künstlichen
Black Box versteht man hierbei Systeme, bei denen nur das Intelligenz zu liefern, um dem disruptiven Potenzial dieser
äußere Verhalten betrachtet werden kann, die inneren Funkti- Technologie zu begegnen. Unter »Ethik der Künstlichen
onsmechanismen aufgrund von Komplexität oder fehlendem Intelligenz« versteht man einen allgemeingültigen Anspruch
Wissen aber unzugänglich sind. Es ist somit oftmals nicht daran, wie die Anwendungskontexte (der Einsatzbereich
möglich, das Zustandekommen von Antworten nachzuvollzie- inklusive der Mensch-Maschine-Interaktion), die eingesetzten
hen. Bei manchen Anwendungen kann es deshalb angezeigt Techniken und die Schnittstellen der Anwendungskontexte
sein, auf bestimmte Arten von ML-Modellen zu verzichten. zum Rest der sozialen und digitalen Sphäre gestaltet sein
Man kann das ML-Modell aber auch um ein weiteres, das müssen. Das Ziel ist dabei, dass alle Beteiligten nach ihren
sogenannte »Erklärmodell« ergänzen, das ermittelt, welche jeweiligen moralischen Überzeugungen gut handeln bzw. sich
Teile der Eingabe ausschlaggebend für ein bestimmtes Ergeb- gut verhalten können und niemand in Rechten, Autonomie
nis waren. So hat man zum Beispiel herausgefunden, dass oder Freiheit unzulässig beschnitten wird. Die Zertifizierung
eine KI-Anwendung in einer Bilddatenbank Pferde an einem von KI-Anwendungen in ihren konkreten Anwendungskon-
Wasserzeichen, also einem Artefakt in den Bildern, erkannt texten ist ein erster wichtiger Schritt zu einer allgemeinen
hat, statt etwa an der Form der Tiere. Ethik der KI.
11V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
Dabei müssen zwei Missverständnisse vermieden werden: 2.3 Ausgangslage und Fragen aus dem Recht
Erstens bezieht sich Ethik der Künstlichen Intelligenz hier auf
konkrete KI-Anwendungen für spezifische Aufgaben. Damit Für das Recht gehen mit den Techniken der Künstlichen Intel-
sind Fragen ausgeschlossen wie: Welche moralischen Pflichten ligenz eine Vielzahl an Herausforderungen einher, mit denen
und welche Verantwortung haben wir gegenüber intelligenten wir uns als Gesellschaft befassen müssen. Hierzu zählt die
Maschinen? Sollten wir vor diesem Hintergrund überhaupt Frage, inwieweit Maschinelles Lernen ein neues Licht auf die
versuchen, Künstliche Intelligenz mit genereller Intelligenz zu individuelle Haftung bzw. Verantwortung von Personen und
bauen? Wann kann eine KI-Anwendung als moralischer Agent damit Grund und Kriterien von »Zurechnung« wirft. Systeme,
zählen und besitzt sie Freiheit und Rechte? Diese Fragen die durch maschinell gelernte Modelle gesteuert werden,
berühren nicht die Zertifizierung konkreter KI-Anwendungen, können Fehler aufweisen, die sich insbesondere in Form von
um die es derzeit faktisch geht. Vorurteilen negativ auf den Einzelnen auswirken können.
Hinzu tritt die Schwierigkeit, dass Transparenz im Hinblick
Zweitens lässt sich eine Ethik der Künstlichen Intelligenz auf lernende Systeme oftmals nur eingeschränkt möglich ist.
nicht als Code umsetzen, der bei jeder gegebenen Frage Ob und ggfs. in welchem Umfang entsprechende Techniken
aus einem konkreten Problemkontext heraus eine binäre in sensiblen gesellschaftlichen Bereichen verwendet werden
Ja-Nein-Antwort produziert. Die Frage, »welches moralische sollten, bedarf daher einer Klärung.
System ist so programmierbar oder modellierbar, dass damit
KI-Anwendungen künftig ausgestattet werden sollen?«, ist Zu denken ist dabei beispielsweise an den Gesundheitssektor.
verfehlt, insofern weder Ethik abschließend programmierbar, Hier bietet Künstliche Intelligenz etwa in der Krebsdiagnose
da prinzipiell offen für Veränderungen ist, noch ohne oder in Gestalt von sogenannten »Gesundheits-Apps« eine
Schwierigkeiten Einigkeit über das korrekte moralische Unterstützung der Arbeit von Ärzten. In der Pflege sollen
System herstellbar ist. Denn Ethik verdankt sich historisch künftig immer mehr Roboter nicht zuletzt zur Ersetzung des
variablen Erfahrungen des Menschen. Gesellschaftliche menschlichen Personals herangezogen werden. Damit werden
Transformationen wie die Digitalisierung werfen bisher Techniken der Künstlichen Intelligenz den Gesundheitsmarkt
unbekannte ethische Probleme auf, sodass man durch im nächsten Jahrzehnt unter Umständen deutlich verändern.
Erforschung der konkreten Mensch-Maschine-Interaktion Betroffen ist auch der Berufsstand der Juristen, wie es die
zu allererst neue Richtlinien erarbeiten muss, die mit dem Fortschritte im Bereich der »Legal Tech« nahelegen. Und so
universalen Wertesystem der humanen Lebensform (den kommen als weiterer Einsatzbereich von KI-Anwendungen
Menschenrechten als Rahmenbedingungen von Recht und nicht zuletzt deutsche Gerichtssäle in Betracht: Hier könnte
Ethik) vereinbar sind. etwa eine KI-Anwendung herangezogen werden, die Progno-
sen für die künftige Gefährlichkeit von Straftätern trifft. Dies
Der zentrale Beitrag von Philosophie und Ethik bei der passiert gegenwärtig in Teilen der USA schon im Bereich der
Entwicklung von Standards für Künstliche Intelligenz sind gerichtlichen Bewährungsentscheidungen. Weniger futuris-
demnach neu festzulegende Leitlinien für den Umgang mit tisch, da bereits die Realität deutscher Polizeibeamter prägend,
unseren derzeit existenten KI-Techniken. Diese Leitlinien erscheint außerdem der Einsatz digitaler Technologien in der
müssen im Einklang mit fundamentalen ethischen Grund- Verbrechensbekämpfung. So verbirgt sich hinter dem Begriff
prinzipien wie der Menschenwürde, der Autonomie und des »Predictive Policing« die datenbasierte Prognose von
der individuellen sowie der demokratischen Freiheit stehen. Straftaten, die zur Polizeieinsatzplanung verwendet wird.
Sie geben den Rahmen vor, in dem sich KI-Anwendungen Dabei ist das »Predictive Policing« ein Anwendungsbereich,
in ihrem Anwendungskontext bewegen müssen, um nicht dessen Ausbau in der »Strategie Künstliche Intelligenz der
ethischen Grundprinzipien wie Fairness oder Transparenz zu Bundesregierung« beabsichtigt ist.
widersprechen. Dazu muss man sowohl die KI-Anwendung
selbst als auch ihre Schnittstelle zur sozialen Sphäre in den All diese Entwicklungen betreffen im Kern die Frage,
Blick nehmen, was nur gelingt, wenn man den Menschen als wie wir in unserer Gesellschaft leben wollen. Gibt es ein
KI-Anwender ins Zentrum rückt. »Menschenbild der Digitalisierung« – und ist dieses mit einem
12I nformatische , philosophische und rechtliche P erspektiven
freiheitlichen Rechtsstaat in Einklang zu bringen? In dessen Ethik, wie etwa den moralischen Akteur, im Kontext von
Zentrum steht nach wie vor der mit Würde begabte Mensch, Künstlicher Intelligenz neu ein und liefert eine Begründung der
wofür Art. 1 Abs. 1 GG die normative Grundlage bietet. universellen Gültigkeit von bestimmten ethischen Prinzipien
Danach darf der Mensch nicht zum bloßen Objekt staatlichen und Rechtsnormen, wie etwa den Menschenrechten. Hier-
Handels herabgewürdigt werden (S. etwa BVerfGE 9, 89; durch stabilisiert sie überhaupt erst den Rahmen, innerhalb
27, 1; 28, 386; 117, 71 ,89; 131, 268, 286 im Anschluss dessen der gesellschaftliche Diskurs sinnvoll und zielführend
an G. Dürig, AöR 117 (1956), 127.) – eine Vorgabe, deren stattfinden kann. Bei der Umsetzung des Diskursergebnisses
Wahrung in Zeiten der Disruption durch Künstliche Intelligenz hin zur rechtlich richtigen Lösung nutzt die Rechtswissenschaft
in besonderem Maße der kritischen Überprüfung bedarf, ethische Argumente. Dies wird vor allem in Bereichen relevant,
was eine intensive Kooperation von Recht und Philosophie in denen das Recht unter Umständen erst noch auf den Plan
voraussetzt. Dabei steht eines fest: Technologische Revolu- treten muss. Angesichts der Vielzahl an Veränderungen, die
tionen sind nicht als »Selbstläufer« zu begreifen. Vielmehr die Anwendungen der Künstlichen Intelligenz in jedweden
liegt ihr Hergang in der Hand des Menschen als deren gesellschaftlichen Bereich trägt, fragt sich aus Sicht der
maßgeblichem Akteur. Aus juristischer Sicht liegt daher im Juristen, ob insoweit ein Regelungsbedarf besteht. Weiterhin
Zertifizierungsprojekt von KI.NRW auch ein Augenmerk auf geraten rechtliche Grundbegriffe in Konfrontation mit neuen
den Gestaltungsmöglichkeiten, die im Hinblick auf den Einsatz technischen Entwicklungen auf den Prüfstand. Dies betrifft
von Künstlicher Intelligenz zur Verfügung stehen. Ziel ist es, beispielsweise den Begriff der Verantwortung bzw. der
auf diese Weise einen relevanten Beitrag zu leisten zu dem »Schuld«. Davon sind auch Grundbegriffe der philosophischen
Bild, das die Gesellschaft in Zeiten großer technologischer Ethik wie Gerechtigkeit, Gleichheit, Autonomie, Fairness und
Fortschritte im Bereich der Künstlicher Intelligenz von sich Transparenz usw. betroffen. Diese müssen für den Zusammen-
selbst zeichnen wird. hang von KI-Anwendungen genau gefasst werden, da diese
Begriffe hier eine spezifische Bedeutung gewinnen, die sie erst
2.4 Interdisziplinäre Betrachtung durch die neue Technologie bekommen. Diese Bedeutungen
lassen sich nur in trilateraler Zusammenarbeit klären. Es stellt
Disruptive Technologien, die wie die Künstliche Intelligenz sich im Zusammenhang mit Künstlicher Intelligenz die Frage,
an den Wurzeln einer Gesellschaft ansetzen und Verände- ob an den bisherigen Begriffen festgehalten werden kann
rungen von bislang unbekanntem Ausmaß und ungeahnter oder ob sie einer Modifikation bedürfen. Dabei setzt jedwede
Geschwindigkeit herbeiführen können, bedürfen eines rechtliche Bewertung ein klares Verständnis der technischen
holistischen Blickwinkels, um ihnen angemessen Rechnung zu Zusammenhänge voraus. Dies betrifft in erster Linie die
tragen. Für Philosophie, Recht und Technologie steht in einem tatsächlichen Möglichkeiten von KI-Anwendungen und damit
freiheitlichen Rechtsstaat der Mensch im Mittelpunkt. Die die Frage nach einer faktischen Umsetzbarkeit rechtlicher Vor-
Kooperation der Wissenschaften ist daher nicht nur abstrakt gaben. Sofern diese nicht besteht, kommt eine Situation auf,
wünschenswert, sondern ein notwendiges Gebot unserer Zeit. in der von rechtlicher Seite etwas verlangt wird, das technisch
nicht umgesetzt werden kann (Beispiel: uneingeschränkte
Gestaltung der ethisch-rechtlichen Rahmenbedingungen Transparenz). Sofern aber eine entsprechende technische
von Künstlicher Intelligenz Umsetzbarkeit nicht besteht, stellt sich die weitergehende
Unsere Gesellschaft und somit jeder Einzelne hat die Möglich- rechtliche Frage, ob gleichwohl eine Zulässigkeit der jeweiligen
keit (mit-)zu entscheiden, wie die Welt aussehen soll, in der KI-Anwendung begründet werden kann.
wir künftig mit Künstlicher Intelligenz leben wollen. In dem
Diskurs, der hierfür geführt werden muss, spielen Philosophie, Entwicklung von konkreten KI-Anwendungen
Recht und Technologie eine zentrale Rolle. Die technologische Bei der Konstruktion von KI-Anwendungen innerhalb eines
Entwicklung generiert die Problemfelder dieses gesellschaftli- bestehenden ethischen und rechtlichen Rahmens ist es essen-
chen Diskurses. Gleichzeitig zeigt sie auf, was tatsächlich im tiell, die Sichtweise aller drei Disziplinen miteinzubeziehen.
Bereich des Möglichen ist und was in den Bereich der Science- Bereits im Design der KI-Anwendung muss geklärt werden,
Fiction gehört. Die Philosophie ordnet zentrale Begriffe der ob die Anwendung ethisch und rechtlich zulässig ist und
13V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
falls ja, welche Leitplanken für ihre Ausgestaltung formuliert bis hin zur Veröffentlichung, z. B. als Open Source, inter-
werden sollten. Ein notwendiges Kriterium ist es hierbei, allen disziplinäre Fragen. Diese betreffen etwa den Umgang mit
Beteiligten dieselben Möglichkeiten einer moralischen Ent- unvermeidbaren Konflikten und Trade-offs zwischen den
scheidung zu geben, welche sie auch im Falle eines Verzichts verschiedenen Handlungsfeldern. In unterschiedlichen Kon-
auf den KI-Einsatz hätten, und ihre Rechte sowie ihre Freiheit texten ist jeweils eine andere Balance zwischen den einzelnen
zu achten. Viele weitere Folgefragen, die sich hieraus ergeben Werten gefragt. Widerstreitende Interessen können durch den
– beispielsweise was Fairness im Kontext der Anwendung zu ethisch-rechtlichen Grundsatz der Verhältnismäßigkeit in eine
bedeuten hat, oder welche Auswirkungen auf die Nutzer, wie ausgewogene Beziehung miteinander gebracht werden. Auf
etwa emotionale Bindungen zur KI, vertretbar sind – lassen diese Weise werden sämtliche Perspektiven der beteiligten
sich aus technologischer Perspektive allein nicht beantworten, Akteure in die notwendige Interessenabwägung einbezogen.
sondern bedürfen wiederum eines holistischen Ansatzes. Wenngleich also Abwägungsentscheidungen in Einzelfällen
nicht auf der Metaebene getroffen werden können, hält das
Ist die grundsätzliche Zulässigkeit der KI-Anwendung Verhältnismäßigkeitsprinzip ein Instrument bereit, um die
sichergestellt, ergeben sich auch für die weitere Entwicklung Zulässigkeit von spezifischen KI-Anwendungen festzustellen.
14H andlungsfelder der Z ertifizierung
3 HANDLUNGSFELDER DER ZERTIFIZIERUNG
Aufgrund ihres disruptiven Potenzials ist es für KI-Anwen- Für die Entwicklung einer KI-Anwendung folgt hieraus insbe-
dungen in besonderem Maße wichtig, die Übereinstimmung sondere, dass Anwendungsbereich, Zweck und Umfang sowie
mit philosophischen, ethischen und rechtlichen Rahmen- Betroffene frühzeitig identifiziert werden müssen. In diesen
bedingungen zu gewährleisten. Ihre Zertifizierung dient in Prozess sind alle direkt oder indirekt betroffenen Akteure ange-
erster Linie dem Schutz rechtlich bzw. ethisch grundlegender messen zu involvieren. Es sollte eine Risikoanalyse durchgeführt
Interessen von Personen. Auf diese Weise soll vermieden werden, die die Möglichkeiten von Missbrauch und Dual Use
werden, dass es zu unzulässigen Beeinträchtigungen Einzel- einschließt, deren Konsequenzen angemessen bei der weiteren
ner und von Gruppen kommt. Die KI-Zertifizierung verfolgt Entwicklung miteinbezogen werden müssen. Schließlich sollte
insofern den allgemeinen Zweck, Unrecht bzw. ethisch nicht die Anwendung »by-design« so konstruiert werden, dass sie in
gerechtfertigte Zustände von der Gesellschaft abzuwenden. dem festgelegten Umfang auditierbar und prüfbar ist.
Dies betrifft neben den Freiheitsrechten des Einzelnen
und dem Grundsatz der Gleichbehandlung gerade auch 3.1 Autonomie und Kontrolle
allgemeine gesellschaftliche Interessen wie etwa den Schutz
und die Erhaltung der Umwelt sowie des demokratischen Autonomie ist sowohl als ethischer als auch als rechtlicher
Rechtsstaats. Wert anerkannt. Philosophisch ist Autonomie die Grundlage
aller Werte, weil wir uns Werte als menschliche Gemeinschaft
Aus diesen Grundwerten und Prinzipien eines freiheitlich selbst geben müssen. Sie ist im Allgemeinen die Fähigkeit zur
geordneten Gemeinwesens lässt sich unter Berücksichtigung moralisch relevanten Selbstbestimmung. Begründet ist damit
des rechtsstaatlichen Grundsatzes der Verhältnismäßigkeit die Freiheit des Einzelnen, selbstbestimmt Entscheidungen
eine Vielzahl an Konkretisierungen ableiten. Auf diese zu treffen. Dies umfasst auch all jene Entscheidungen, die
Weise entstehen auf der Basis von Ethik und Recht sowie seine eigene Rechtsposition berühren und darüber hinaus
informatischen Anforderungen konkrete, für die Zertifizierung die Freiheit, die Ziele des eigenen Verhaltens ebenso wie die
maßgebliche Handlungsfelder. Wahl der Mittel zur Erreichung dieser Ziele zu bestimmen.
ETHIK UND RECHT Respektiert die KI-Anwendung gesellschaftliche Werte und Gesetze?
AUTONOMIE & KONTROLLE Ist eine selbstbestimmte, effektive Nutzung der KI möglich?
FAIRNESS Behandelt die KI alle Betroffenen fair?
TRANSPARENZ Sind Funktionsweise und Entscheidungen der KI nachvollziehbar?
VERLÄSSLICHKEIT Funktioniert die KI zuverlässig und ist sie robust?
SICHERHEIT Ist die KI sicher gegenüber Angriffen, Unfällen und Fehlern?
DATENSCHUTZ Schützt die KI die Privatsphäre und sonstige sensible Informationen?
15V E R T R A U E N S W Ü R D I G E R E I N S AT Z V O N K Ü N S T L I C H E R I N T E L L I G E N Z
KI-Anwendungen übernehmen immer mehr Routinetätig- 3.2 Fairness
keiten und agieren zunehmend selbstständiger. Dabei ist zu
beachten, dass oftmals mobile Systeme (z. B. Roboter, Fahr- Als Ausfluss des allgemeinen Gleichbehandlungsgrundsatzes
zeuge), die durch die eingesetzten KI-Anwendungen gesteuert ist sowohl in ethischer als auch in rechtlicher Hinsicht von
werden, ebenfalls als »autonom« bezeichnet werden. Hierbei einer KI-Anwendung die Wahrung des Prinzips der Fairness
wird jedoch dem System lediglich die Wahl der Mittel, nicht zu verlangen. Gemeint ist damit das Verbot, gleiche soziale
aber die eigentliche Zielsetzung freigestellt. Von daher spricht Sachverhalte ungleich oder ungleiche gleich zu behandeln, es
man in diesem Kontext irreführend von der »Handlungsauto- sei denn, ein abweichendes Vorgehen wäre sachlich gerecht-
nomie« des Systems, die sich eigentlich aus der menschlichen fertigt. Damit erstreckt sich das Prinzip auf das Verbot einer
Zielsetzung ergibt. Deswegen ergibt sich auch in diesem ungerechtfertigten Ungleichbehandlung in einer KI-Anwen-
Kontext ein Spannungsfeld zur Autonomie (des Menschen), dung und schließt unzulässige Diskriminierungen aus. Dies
da solche KI-Anwendungen den Menschen ihrerseits in der bedeutet insbesondere, dass Individuen nicht aufgrund ihrer
Wahl seiner Ziele und Mittel beeinflussen können. Letzteres Zugehörigkeit zu einer marginalisierten oder diskriminierten
ist insbesondere der Fall, wenn die KI-Anwendung mit Gruppe wiederum im sozialen Ergebnis diskriminiert werden
menschlicher Entscheidungsfindung interagiert, indem sie zum dürfen. Zum Beispiel dürfen nicht Menschen mit bestimmten
Beispiel Entscheidungsvorschläge generiert, Steuerbefehle Familiennamen, einer spezifischen Religionszugehörigkeit oder
erzeugt (und evtl. sogar ausführt), mit dem Menschen direkt einem besonderen Geschlecht eine bessere oder schlechtere
kommuniziert (Sprachassistenten, Chatbots, …) oder in Bewertung erhalten. Ebenso müssen Sprachsteuerungen auch
Arbeitsprozesse integriert ist. auf Personen mit besonderen Akzenten oder Soziolekten
reagieren können und individuell anpassbar sein. Darüber
Künstliche Intelligenz darf die Autonomie von Individuen und hinaus darf Gesichtserkennungssoftware grundsätzlich nicht
sozialen Gruppen nicht unverhältnismäßig einschränken. Vor häufiger Fehler bei Menschen mit einer bestimmten Hautfarbe
diesem Hintergrund ist es bei der Entwicklung und dem Betrieb oder anderen phänotypischen Merkmalen machen.
einer KI-Anwendung wichtig darzulegen, inwiefern individuelle
bzw. kollektive Nutzer übermäßiges Vertrauen in die KI- KI-Anwendungen lernen aus historischen Daten. Diese sind
Anwendung entwickeln, emotionale Bindungen aufbauen oder nicht notwendigerweise vorurteilsfrei. Beinhalten die Daten
in ihrer Entscheidungsfindung unzulässig beeinträchtigt bezie- beispielsweise Benachteiligungen von Frauen, so kann die KI-
hungsweise gelenkt werden könnten. Die Aufgabenverteilung Komponente diese Vorurteile übernehmen. Außerdem können
und Interaktionsmöglichkeiten zwischen KI-Anwendung und in der Datengrundlage bestimmte Gruppen unterrepräsentiert
Nutzer müssen daher klar und transparent geregelt sein. Nutzer sein. Man spricht dann von Bias. Bias kann ebenfalls zu
müssen angemessen mit den möglichen Risiken bzgl. einer Entscheidungen führen, die unfair sind. Als abschreckendes
eventuellen Beeinträchtigung ihrer Autonomie, mit ihren Rech- Beispiel bekannt geworden ist die fehlerhafte Klassifikation
ten, Pflichten und Eingriffs- sowie Beschwerdemöglichkeiten von dunkelhäutigen Menschen als Gorillas durch Google Fotos.
vertraut gemacht werden. Dem Nutzer muss in angemessenem Daher müssen repräsentative Trainingsdaten sichergestellt
Umfang die Möglichkeit zur Steuerung des Systems verliehen werden. Darüber hinaus kommt als geeignetes Instrument zur
werden. Dies schließt es ein, dass die Zustimmung zur Nutzung Vermeidung von Bias eine Nachbesserung der Ausgabe des
einer KI-Anwendung entziehbar sein muss. Dabei sollten den ML-Modells in Betracht.
Nutzern keine bloße Ja/Nein-Option, sondern plurale Nutzungs
möglichkeiten eingeräumt werden. Insbesondere muss es Um Fairness zu operationalisieren, muss aus technischer Sicht
auch möglich sein, die Anwendung in Gänze abzuschalten. jeweils ein quantifizierbarer Fairnessbegriff entwickelt werden.
Nutzer müssen angemessen in der Wahrung ihrer Autonomie Dies setzt in einem ersten Schritt voraus, diejenigen Gruppen
unterstützt werden, indem sie die dazu erforderlichen zu identifizieren, die nicht benachteiligt werden sollen. Diese
Informationen über das Verhalten der KI-Anwendung im Gruppen können gesellschaftliche Minderheiten darstellen,
Betrieb erhalten, ohne überfordert zu werden. Letzteres muss aber auch Unternehmen oder allgemein juristische Personen,
gegebenenfalls insbesondere auch auf Personen mit speziellen wie es beispielsweise bei der Preisbildung auf digitalen
Bedürfnissen abgestimmt sein. Zudem sind angemessen sichere Marktplätzen der Fall ist. In einem zweiten Schritt muss eine
Eingriffsmöglichkeiten für den Fall bereitzustellen, dass eine Quantifizierung der gewählten Fairnessdefinition erfolgen.
Gefährdung der Autonomie der Nutzer erkannt wird. Besonders hervorzuheben ist dabei die Unterscheidung von
16H andlungsfelder der Z ertifizierung
Gruppenfairness und individueller Fairness. Bei Gruppen KI-Anwendungen, von denen die Rechte und Interessen
fairness ist zu verlangen, dass die Ergebnisse für alle vorhan- Dritter betroffen sind, dürfen ausnahmsweise intranspa-
denen Gruppen vergleichbar sind, z. B. im Sinne von gleicher rent sein, sofern dies bei Abwägung der widerstreitenden
»Trefferwahrscheinlichkeit« in allen Gruppen. Bei individueller Interessen verhältnismäßig ist.
Fairness wird die gleiche Behandlung von gleichen Individuen
als Maßstab gesetzt. Diese zweite Art der Transparenz betrifft die inneren Prozesse
der KI-Anwendung und speziell des ML-Modells. Dabei geht
3.3 Transparenz es um die Fragen von Interpretierbarkeit, Nachverfolgbarkeit
und Reproduzierbarkeit von Ergebnissen für verschiedene
Die Transparenz einer KI-Anwendung kann für ihre Akteure und Zwecke. Im Speziellen ist unter anderem zu
Akzeptanz entscheidend sein. Dabei sind zwei Aspekte zu verlangen:
unterscheiden. Erstens müssen Informationen zum richtigen
Umgang mit der KI-Anwendung verfügbar sein. Zum ande- Akteure müssen die Ausgabe der KI-Anwendung insoweit
ren geht es um Anforderungen an die Interpretierbarkeit, nachvollziehen können, als dass sie eine informierte Ein-
Nachverfolgbarkeit und Reproduzierbarkeit von Ergebnissen, willigung oder Ablehnung geben. Das kann häufig durch
die Einsichten in die inneren Prozesse der KI-Anwendung das Aufzeigen der entscheidungsrelevanten Passagen in
erfordern. der Eingabe geschehen.
Information zum Umgang mit einer KI-Anwendung Für eine informierte Intervention beim Einsatz einer
Zu allererst ist zu verlangen, dass in einer Kommunikations KI-Anwendung im Arbeitsprozess müssen die mitgeteilten
situation grundsätzlich klar sein muss, dass diese mit einer Informationen nach der Maßgabe ausgewählt werden,
KI-Anwendung stattfindet. Darüber hinaus müssen die die Nutzer nicht durch irrelevante Details zu überfordern.
Akteure angemessen mit dem Gebrauch der Anwendung
vertraut gemacht werden. Dazu gehört ein Verständnis dafür, Experten müssen grundsätzlich die Funktionsweise der KI-
welchem Zweck die Anwendung dient, was sie leistet, was Anwendung auf technischer Detailebene nachvollziehen
potenzielle Risiken (auch in Bezug auf andere Handlungsfelder können, z. B. zum Zwecke der Verbesserung oder der
wie z. B. Verlässlichkeit, Sicherheit und Fairness) sind und wer Klärung von Konfliktfällen. Zwar müssen die Experten
die Zielgruppe der Anwendung ist. nicht jede Ausgabe einer KI-Anwendung vorhersagen
können, ihr generelles Verhalten muss jedoch während
Nachvollziehbarkeit und Interpretierbarkeit des ML- der Entwicklung und auch später im produktiven Betrieb
Modells prinzipiell erklärbar, nachvollziehbar und dokumentiert
Aus ethisch-rechtlicher Sicht kann ein Interessenskonflikt sein. Hierzu dienen Logging, Dokumentationen bzw.
zwischen dem Wunsch nach Transparenz für die Nutzer (bzw. Archivierungen des Designs, der Daten, des Trainings, des
für interessierte Gruppen) einerseits und der Wahrung von Testens/Validieren des Modells, sowie der einbettenden
Geschäftsgeheimnissen bzw. der allgemeinen gesellschaftli- Umgebung.
chen Sicherheit andererseits bestehen. Daraus ergeben sich
konkret die folgenden Anforderungen an die Transparenz Aus technischer Sicht ist die Frage der grundsätzlichen Trans-
einer KI-Anwendung: parenz nicht trivial und das Spannungsfeld zwischen höherer
Genauigkeit bzw. Robustheit und der Erklärbarkeit von
KI-Anwendungen, von denen die Rechte und Interessen Modellen ist in der KI-Welt ein altbekanntes Dilemma. »Black
Dritter betroffen sind, müssen grundsätzlich transparent Box«-Modelle sind zwar in vielen Fällen genauer bzw. robuster
sein. Transparenz bedeutet die Nachvollziehbarkeit der als beispielsweise regelbasierte Modelle, jedoch sind sie nur
Arbeitsweise der KI-Anwendung. bedingt interpretierbar. Teilweise kann diese Erklärbarkeit
auch durch nachgeschaltete Verfahren, wie z. B. durch das
KI-Anwendungen müssen nicht nach außen transparent Trainieren von Erklärmodellen oder einer Analyse des Eingabe/
gemacht werden. Dies gilt nicht, wenn weit überwiegen- Ausgabe-Verhaltens von Modellen (sogenannte LIME Analyse-
de gesellschaftliche Interessen an der Verstehbarkeit der Local Interpretable Model-agnostic Explanations) erreicht
KI-Anwendung bestehen. werden. Zurzeit ist die Interpretierbarkeit von Modellen ein
17Sie können auch lesen
