Missing Link Magazin für vertrauenswürdige Künstliche Intelligenz - Heft #2 / November 2022
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Missing Link
Magazin für vertrauenswürdige
Künstliche Intelligenz
Heft #2 / November 2022
1
Dabei kommen häufig In den Debatten um vertrauenswürdi-
WARUM BRAUCHEN komplexe KI-Anwendungen ge KI scheint das Ziel eindeutig zu
WIR TRANSPARENZ? zum Einsatz, die weder
für ihre Nutzer*innen
sein: Wir brauchen mehr Transparenz.
Jedoch fehlt bislang ein breiter
oder Betroffene noch Konsens darüber, was Transparenz
Die Forderung nach transparenteren für ihre Entwickler*in- genau bedeutet und ausmacht. Ein
Anwendungen der Künstlichen Intelligenz nen nachvollziehbar konkreteres Bild ergibt sich trotz-
(KI) ist mit der Erwartungshaltung sind. Wie sie genau dem, wenn wir Einzeldefinitionen,
verbunden, komplexe Software vorgehen, bleibt unklar. vage Annäherungen und die mit den
nachvollziehbar und überprüfbar zu Klar ist indes, dass Begriffen Transparenz und Nachvoll-
machen. Ein Konsens darüber, was die Modelle häufig nicht ziehbarkeit verbundenen Forderungen
Transparenz in diesem Zusammenhang fehlerfrei funktionie- genauer in den Blick nehmen. Dazu
genau ausmacht und wie wir sie ren und es im Prozess zählt auch, sich mit den Ansät-
herstellen können, fehlt bislang. Doch der Entwicklung zu zen zu befassen, die gegenwärtig
die Auseinandersetzung mit möglichen Verzerrungen kommt, als geeignete Maßnahmen gelten, um
Antworten hat längst begonnen und zeigt die folgenreich sein mehr Transparenz zu schaffen. Hierzu
sich in Debatten über Informationsangebote können. Das zeigt sich Mitmachen gehören Prüfungen und Zertifizierun-
und Kompetenzen, über Standards und an Beispielen, bei gen, Erklärungsmethoden komplexer
Das ZVKI versteht
Zertifikate sowie über Ansätze, um denen Nutzer*innen sich als neutrale KI-Modelle und das Bereitstellen
komplexe KI-Modelle zu erklären. die Fehler am Ergebnis Schnittstelle von Informationen für Bürger*in-
feststellen konnten: zwischen nen. Vorschläge für solche Maßnah-
Disziplinen und
Vor allem Politiker*innen und zivilge- Ein Bewerbungsfilter men beziehen sich auf verschiedene
Akteur*innen,
sellschaftliche Organisationen, aber auch bevorzugte Männer.1 Eine zwischen Prozessschritte der Entwicklung,
Wissenschaftler*innen fordern mehr Trans- Gesichtserkennungs- Nutzer*innen und auf Einsatzkontexte, Verfahrens-
parenz im Zusammenhang mit KI-Systemen und software erkannte das Expert*innen. weisen und Systemeigenschaften.
Treten Sie mit uns
beschäftigen sich mit geeigneten Maßnah- Gesicht einer Schwar-
in Kontakt und in
men. Sie sehen darin eine Möglichkeit, zen Frau nur dann, wenn den Austausch. Sie Da diese Darstellungen unzurei-
Fehler oder Verstöße gegen Gesetze wie sie sich eine weiße erreichen uns per chende Verkürzungen sind, widmen
die Grundrechte zu erkennen und ihnen zu Maske aufsetzte.2 Doch E-Mail unter zvki@ wir der Transparenz ein ganzes
irights-lab.de.
begegnen. Das kann im Ergebnis vertrau- nicht immer gibt das Magazin. Darin stellen wir die
enswürdigere KI-Anwendungen bedeuten – so Ergebnis zu erken- Mehr über unsere Begriffe Transparenz, Nachvollzieh-
die Annahme. Mit Transparenzmaßnahmen ist nen, dass das zugrun- Aktivitäten und barkeit und Erklärbarkeit vor. Wir
ebenfalls die Hoffnung verbunden, dass sie de liegende KI-Modell Themen erfahren fragen uns, ob sich Bürger*innen
Bürger*innen zu notwendigen Informatio- beispielsweise auf Sie auf unserer tatsächlich mehr Transparenzmaßnah-
nen verhelfen und sie auf Grundlage dessen einer unzureichenden Webseite men wünschen und welche das sind.
mündigere Entscheidungen treffen können. Datengrundlage basiert Außerdem setzen wir uns mit vielver-
www.zvki.de.
und mit folgenreichen sprechenden Maßnahmen in diesem
Die Notwendigkeit von Transparenz drängt Fehlschlüssen oder Zusammenhang auseinander. Wir zeigen
sich in ähnlicher Weise auf wie die damit Verzerrungen arbeitet. Dadurch bleiben auf, wie weit sie bereits gediehen sind
verbundenen Hoffnungen und Erwartun- Fehler und unfaire Vorgehensweisen unent- und welche Fragen bislang offenbleiben.
gen: Seit einigen Jahren verbreiten sich deckt. Deshalb arbeiten Forscher*innen an
KI-Anwendungen, die mithilfe von maschi- Ansätzen der erklärbaren KI. Sie sollen
nellem Lernen funktionieren, in zahlrei- dazu beitragen, die Vorgehensweisen von
chen Bereichen unseres Lebens, Arbeitens bislang häufig eingesetzten intransparen-
und Wirtschaftens – Tendenz steigend. ten Modellen besser verstehen zu können.
EDITORIAL
Autorin
Jaana Müller-Brehm
1 Knobloch/ Hustedt, S. 15.
2 Buolamwini, o. S.
3
6 BENENNEN – Was ist Transparenz?
8 VERMESSEN – Welche Informationen fehlen?
12 VERSTEHEN – Wie schaffen wir Transparenz?
24 NACHFRAGEN – Mit welchem Ziel wollen wir erklären?
VERARBEITEN – Wie erzeugen wir Verständnis?
28
KOMBINIEREN – Was nehmen wir mit?
30
VERBINDEN – Wozu all das?
32
BELEGEN – Woher stammen die Informationen?
34
Impressum
38
INHALT
5
FAQ: Wie erkenne ich,
ob ich es mit einer
KI-Anwendung zu tun habe?
Bisher gibt es keine
Kennzeichnungspflicht für den
Einsatz von KI-Methoden. Bei
freiwilligen Hinweisen geben
die Hersteller*innen in der
Regel nur grundsätzlich an, ob
es sich um eine KI-Anwendung
handelt oder nicht. Die
und ‚Nachvollziehbar- konkrete Funktionsweise indem wir auch diejeni-
WAS IST TRANSPARENZ? keit‘ synonym.5 Die des KI-Systems behalten die gen Menschen einbeziehen,
AI HLEG der Europäi- Unternehmen für sich. Das die von den Ergebnissen
macht Künstliche Intelligenz
Das meinen wir, wenn wir von schen Kommission führt einer KI-Anwendung betrof-
oftmals undurchsichtig und
Transparenz, Nachvollziehbarkeit ‚traceability‘ im Sinne unverständlich – zu einer fen sind. Zum anderen
und Erklärbarkeit sprechen. von Nachvollziehbar- sogenannten Blackbox. beschreibt Transparenz,
keit beziehungsweise An diesem Zustand möchte dass die Funktionsweise
Ethische Richtlinien und Empfehlun- Rückverfolgbarkeit als die Europäische Kommission eines KI-Systems selbst
gen zur Gestaltung von KI-Anwendungen Komponente von Trans- etwas ändern. In einer nachvollziehbar ist.8
geplanten KI-Verordnung nennt
nennen Transparenz häufig als eine zentra- parenz an. Demnach
sie eine Transparenzpflicht.
le Voraussetzung für vertrauenswürdige sollen die verwendeten Demnach sollen KI-Systeme, die Insbesondere diese
Künstliche Intelligenz. Beispiele dafür Daten und „Prozesse, mit Menschen interagieren, als „funktionale“ Transparenz9
sind der „KI-Prüfkatalog“ des Fraunho- die zu der Entschei- solche erkennbar sein, sofern können Entwickler*innen
das nicht offensichtlich
fer-Instituts für Intelligente Analyse- dung des KI-Systems von KI-Systemen oft
ist. Aktuell (Stand:
und Informationssysteme IAIS 1 von 2021, geführt haben, […] September 2022) befindet nicht sicherstellen:
die Ethikleitlinien der High-Level Expert so gut wie möglich sich das Gesetzesvorhaben Bei vielen KI-Modellen
Group on Artificial Intelligence (AI HLEG)2 dokumentiert werden.“6 im Entwurfsstadium. liegt die Vorgehenswei-
der Europäischen Kommission von 2019 Weitere Antworten auf häufig se, die zu einem Ergeb-
oder die Empfehlungen zur Ethik Künst- gestellte Fragen gibt es hier: nis führt, im Verborge-
licher Intelligenz der UNESCO3 von 2021. nen. Der Forschungsbereich
Diese Richtlinien betonen unterschied- Was www.zvki.de > KI-Navigator zu erklärbarer KI widmet
> Unsere Inhalte > FAQ. sich Methoden, die
liche Aspekte, die Transparenz auszeich- zeichnet ein
nen. Transparenz zeigt sich als komplexes
transparentes die Ergebnisse solcher
Konstrukt, weshalb eine einfache Defini- sogenannten Blackbox-Model-
tion des Begriffs nicht möglich ist.4 Wir
KI-System aus? le nachvollziehbar machen sollen.
können uns dem Begriff lediglich annähern. Zum einen bedeuten Transparenz und
Nachvollziehbarkeit, dass Personen wissen,
Im deutschen Sprachraum verwenden viele wann sie mit einer KI-Anwendung inter-
Autor*innen die Begriffe ‚Transparenz‘ agieren.7 Wir erweitern dieses Verständnis,
Verweis Seite
Mehr zum Begriff der Transparenz finden Sie in der Rubrik 13
VERSTEHEN unter „Führt Transparenz zu Kompetenz?“.
Weitere Informationen zum Thema erklärbare KI finden Sie in der 20 und 24
Rubrik VERSTEHEN unter „Trägt erklärbare KI zu mehr Nachvollzieh-
barkeit bei?“ und im Interview mit Wojciech Samek in der Rubrik
NACHFRAGEN unter „Mit welchem Ziel wollen wir erklären?“.
Autorin Franziska Busse
BENENNEN
1 Poretschkin et al.
2 High-Level Expert Group on AI.
3 UNESCO.
4 Felzmann et. al, S. 3335.
5 z. B. Poretschkin et. al; Schaaf/ Wiedenroth/ Wagner; Kraus et al.; Waltl.
6 High-Level Expert Group on AI, S. 22.
7 Rohde et al., S. 36.
8 Walmsley, S. 589; Poretschkin et al., S. 63.
9 Walmsley, S. 589.
7
Verbraucher*innen,
Nutzer*innen und
Betroffene
Im traditionellen
Verständnis sind
Verbraucher*innen
Personen, die Waren oder
Dienstleistungen für
den privaten Verbrauch
erwerben. Übertragen
auf KI-Anwendungen
lässt dieser Begriff
viele Aspekte außer Acht
und riskiert dadurch,
wesentliche Themen des
Verbraucher*innenschutzes
zu vernachlässigen
– beispielsweise, dass
persönliche Daten von
Verbraucher*innen in
die Entwicklung eines
KI-Systems einfließen.
An dieser Stelle
sind Privatpersonen
reine Datensubjekte.
Verbraucher*innen
können sogar von
KI-basierten Ergebnissen
WELCHE INFORMATIONEN kontexten vertraut betroffen sein, obwohl sich nach der Befragung
sie keine konkrete
FEHLEN? oder misstraut.2 Ein
möglicher Grund für
Anwendung nutzen. Das
der Bertelsmann Stiftung in
ihrem Wissen über Algorith-
ist beispielsweise
solche Antworten ist der Fall, wenn men einigermaßen sicher.5
Wenn Informationen zu mehr Transparenz der Wissensstand zu Unternehmen KI-Systeme
beitragen sollen, müssen sie KI in der Bevölke- in Bewerbungsprozessen Auch wenn Basiswissen
einsetzen.
Verbraucher*innen, Nutzer*innen und rung, denn den meisten mittlerweile weit verbrei-
Betroffene erreichen und gleichzeitig zu Menschen fehlt ein Das ZVKI-Essay „Wer sind tet ist, ist vertieftes
die Verbraucher*innen
neuen Erkenntnissen führen. Einblicke präzises Verständnis Wissen seltener vorhanden.
im Kontext von
darin, ob das gegenwärtig der Fall ist, davon, wie KI-Syste- KI-Systemen?“ diskutiert
geben repräsentative Umfragen. Sie me funktionieren. solche Fragen und Diese Wissenslücken hängen
zeigen, welche Informationen sich die formuliert Anforderungen mit der Bereitschaft zusam-
an einen zeitgemäßen
Bürger*innen in Deutschland wünschen men, sich umfassend über
Verbraucher*innen-
und welche Transparenzmaßnahmen Begriff in Bezug auf KI. KI-Technologien zu infor-
sie als sinnvoll erachten. Wie viel wissen mieren, wie verschiede-
Das Essay steht hier
die Bürger*innen zur Verfügung:
ne Umfragen zeigen:
Algorithmen und KI sind für zunehmend
in Deutschland
mehr Menschen in Deutschland geläufi- www.zvki.de > ● Nur 22 Prozent der Befrag-
über KI?
VERMESSEN
ge Begriffe. Das zeigen repräsentative ZVKI Exklusiv > ten fühlen sich ausrei-
Befragungen wie „Was Deutschland über 97 Prozent aller Befrag- Fachinformationen. chend gut über KI infor-
Algorithmen und Künstliche Intelligenz ten können laut einer miert.6
weiß und denkt“ der Bertelsmann Stiftung repräsentativen Umfrage des ZVKI von
aus dem Jahr 2022. Die Befragten geben 2022 eine richtige Beschreibung von KI ● Nur ein Viertel der Befragten haben ein
im Vergleich zu den letzten Jahren erkennen (Abbildung 1).3 Jedoch nur 66 großes Interesse an Informationen rund
vermehrt an, in etwa zu wissen, was sich Prozent wissen, dass Algorithmen wesent- um KI.7
hinter diesen Begriffen verbirgt.1 Bei liche Bestandteile von KI-Anwendungen
Fragen nach der Akzeptanz von KI und sind. Andere Studien kommen zu ähnlichen ● Knapp 30 Prozent der Befragten sind
dem Vertrauen in KI zeigen sich aber Ergebnissen: 80 Prozent der Bürger*in- bereit, sich aktiv über KI-Verfahren zu
Unsicherheiten: Ein Drittel der Befrag- nen glauben laut einer Befragung des informieren.8
ten kann nicht genau sagen, ob sie der Bitkom zumindest ungefähr zu wissen,
Technologie in verschiedenen Anwendungs- was KI bedeutet.4 Nur 60 Prozent fühlen
1 Overdiek/ Petersen, S. 15ff.
2 Busse/ Baeva, o. S.
3 Ebd.
4 Berg/ Dehmel, S. 2.
5 Overdiek/ Petersen, S. 17.
6 Busse/ Baeva, o. S.
7 CAIS, o. S.
8 Busse/ Baeva, o. S.
9
Welche Informationen zu Wie groß ist Ihr Vertrauen in
KI interessieren Sie? KI-Systeme in folgenden Bereichen?
Risiken und Nachteile von KI für mich und die Gesellschaft Mobilität 80 % 11 % 4 4
73 %
Funktionsweise und verwendete Daten von KI-Systemen fürmehr Transparenz Industrielle Fertigung 74 % 16 % 3 6 %
72 %
Verbrechensbekämpfung 51 % 29 % 13 % 7 %
Chancen und Vorteile von KI für mich und die Gesellschaft 69 % Verwaltung 48 % 30 % 16 % 7 %
Gesetzliche Regeln in Bezug auf KI-Systeme Information und Journalismus 47 % 31 % 15 % 6 %
52 %
Gesundheit 41 % 31 % 23 % 5
Wissenschaftliche Erkenntnisse zu KI-Systemen verständlich aufbereitet
51 %
Pflege 39 % 31 % 21 % 8 %
Ethische Leitlinien und Gütesiegel für KI-Systeme 44 % Banken und Finanzen 27 % 34 % 32 % 6 %
Eigener Einfluss auf KI-Systeme und Gestaltungsmöglichkeiten Personalwesen 18 % 36 % 39 % 7 %
33 %
Rechtsprechung 13 % 32 % 47 % 8 %
Der Begriff KI generell 30 %
0 20 40 60 80 100
Standards und Zertifizierung von KI-Systemen Vertrauen weder noch Misstrauen keine Angabe
26 %
0 20 40 60 80
Abbildung 1 Basis: Online-Bevölke- Abbildung 2 Basis: Online-Bevölke-
rung ab 16 Jahre, n=578 rung ab 16 Jahre, n=1.007
Frage: Wenn Sie mehr Informationen wünschen, was genau interessiert Sie denn?11 Alle Angabne in Prozent. Abweichungen von 100 Prozent sind
auf Rundungsungenauigkeiten zurückzuführen.17
Welche Informationen wünscht Wie viel Transparenz Die Teilnehmer*innen repräsentati- Welche Zusammenhänge da Themen wie autonomes Fahren medial würdig KI-Systeme erscheinen. Wissen-
sich die Bevölkerung? und Nachvollziehbarkeit ver Umfragen möchten KI-basierte Ergeb- bestehen zwischen präsenter sind als KI-Anwendungen in schaftler*innen diskutieren diese bislang
wollen Bürger*innen? nisse besser verstehen können und
Wissen und Vertrauen? anderen Bereichen. Auf einen Zusammen- kaum erforschte Frage derzeit kontrovers.21
Es wäre ein Fehlschluss, von einem Desin- identifizieren Kennzeichnungen, Zerti- hang von Akzeptanz und Wissen deuten auch
teresse an KI in der Bevölkerung auszu- Transparenz und Nachvollziehbarkeit fikate, Erklärungen sowie eine exter- Das Vertrauen in KI und die Akzep- die Befragung der Bertelsmann Stiftung von Verständlich aufbereitete Informa-
gehen, denn 78 Prozent derjenigen, sind aus Sicht der Teilnehmer*innen ne Aufsicht als geeignete Maßnahmen. tanz von KI-Systemen unterscheiden 202218 sowie der „Bosch KI-Zukunftskom- tionsangebote über KI-Systeme können
verschiedener Umfragen zentrale
die sich schlecht informiert fühlen, sich je nach Bereich, in dem KI-Model- pass 2020“ des Unternehmens Bosch19 hin. eine Grundlage dafür sein, dass Vertrau-
Anforderungen an KI:
wünschen sich mehr Informationen zu le zum Einsatz kommen. So vertrauen die en entsteht. Zu mehr Transparenz gehören
KI.9 Dass vorhandene Informationsange- ● Über 80 Prozent der ZVKI-Befragung: Was sind Befragten KI-Anwendungen in den Berei- Es zeigt sich ein Zusammenhang zwischen aus Sicht der Bürger*innen jedoch nicht
bote viele der Bürger*innen nicht errei- Befragten erachten eine die richtigen Zutaten chen industrielle Fertigung und Mobili- den Einsatzbereichen von KI-Systemen nur Erklärungen zur Funktionsweise,
chen, mag an der Art und Weise liegen, klare Kennzeichnung von für vertrauenswürdige tät sowie im Gesundheitssektor grund- und der Skepsis gegenüber KI-Einsät- sondern auch verständliche Informationen
Künstliche Intelligenz?
wie die meisten ihre Nachrichten zu KI KI-Anwendungen sowie eine sätzlich mehr als in der Rechtsprechung zen: So sind die Befragten misstraui- über die damit verbundenen Risiken. Die
beziehen wollen – nebenbei und am liebs- unabhängige Zertifizierung Mithilfe einer oder im Personalwesen.15 Die Akzeptanz scher, wenn KI-Systeme in Kontexten mit Bürger*innen wünschen sich zudem Hinwei-
repräsentativen
ten aus journalistischen Quellen.10 als wichtig.12 von KI-Anwendungen ist in den Berei- hohen Risiken zum Einsatz kommen. Für se darauf, wie nachteilige Auswirkun-
Online-Befragung
untersuchte das ZVKI chen Verkehr und industrielle Produk- Bereiche, die mit mehr und schwerwiegen- gen von KI-Anwendungen verhindert werden
Die Befragten haben klare Vorstellun- ● Eine verpflichtende Zerti- im Mai 2022, was die tion entsprechend größer als bei Gericht den Risiken für die Betroffenen verbun- können – zum Beispiel durch Beschwer-
gen davon, welche Informationen sie in fizierung wird von 60 deutsche Bevölkerung oder bei politischen Entscheidungen.16 17 den sind, wünschen sich die Befragten, destellen oder menschliche Aufsicht.
über KI-Systeme weiß,
Bezug auf KI-Systeme erhalten möchten. Prozent der Befragten als dass Menschen und nicht KI-Anwendungen
wie viel Vertrauen
Sie wünschen sich verständlich aufbe- eine wirksame Maßnahme sie KI-Anwendungen Diese Ergebnisse können darauf hindeuten, entscheiden.20 Unklar ist jedoch, welche
reitete Berichte, mit denen sie die KI- eingeschätzt, um gegen entgegenbringt und dass das Vertrauen in KI mit dem vorhan- Rolle das Wissen über KI-Systeme, die
Anwendungen nachvollziehen können und Diskriminierung beim welche Maßnahmen der denen Wissen und somit der Nachvollzieh- damit verbundenen Risiken und geeignete
Gestaltung sie fordert.
die ihnen helfen, Risiken und Chancen Einsatz von KI vorzugehen.13 barkeit von KI-Systemen zusammenhängt, Maßnahmen dabei spielt, wie vertrauens-
einzuordnen.11 Eines der wichtigsten Die zentralen
Themen für Bürger*innen ist Transpa- ● Verständliche Erklärungen, Erkenntnisse
renz über die Funktionsweise und die warum KI zu bestimmten gibt es hier:
Verweis Seite
verwendeten Daten bei KI-Systemen. Ergebnissen kommt, sind
www.zvki.de >
für 18- bis 30-Jährige Mehr über Informationsangebote für Verbraucher*innen, Nutzer*innen und Betroffe- 13
ZVKI Exklusiv > ne finden Sie in der Rubrik VERSTEHEN unter „Führt Transparenz zu Kompetenz?“.
europaweit ein zentrales
Fachinformationen.
Kriterium für deren Akzep-
Weitere Informationen zu Prüfungen und Zertifikaten als Transparenzmaßnah- 16
tanz. Noch wichtiger sind men finden Sie in der Rubrik VERSTEHEN unter „Wie zertifizieren wir Transparenz?“.
jedoch Beschwerdestellen
Autorin
und menschliche Aufsicht.14
Gergana Baeva
15 Busse/ Baeva, o. S.
16 CAIS, 2022, o. S.
17 Busse/ Baeva, o. S.
9 Ebd. 18 Overdiek/ Petersen, S. 23.
10 Ebd. 19 Robert Bosch GmbH, S. 7.
11 Ebd. 20 Ebd., S. 21.
12 Ebd.; TÜ
V-Verband e. V. 21 Chazette/ Brunotte/ Speith, S. 9; Langer et al., S. 16f.
13 Kieslich, S. 4.
14 Gagrčin et al., S. 54. 11
WIE SCHAFFEN WIR
TRANSPARENZ?
Transparenz sorgt
für überprüfbare
KI-Anwendungen, schafft
Vergleichbarkeit
und ermöglicht
Erklärungen. Sie gleicht
Informationsasymmetrien
zwischen Anbieter*innen
sowie Verbraucher*innen
und Bürger*innen aus. Und
sie trägt zu mündigen
Nutzer*innen bei. Diese
Erwartungen lassen die
Führt Transparenz (dann handelt es sich um einen sogenannten ist also konzeptuell mit der Konsequenz
Forderung nach Transparenz
sinnvoll und konsensfähig zu Kompetenz? „information overload“).1 Schwer verständ- verknüpft, Wissen über etwas zu erlangen.
liche oder gar unverständliche Informa-
erscheinen. Bei genauerem
Die Forderung von Transparenz ist ein tionen, die Anbieter*innen zur Verfügung Transparenz gewann im gesellschaftlich-
Hinsehen ergeben sich
Kernelement des digitalpolitischen stellen, können zum Beispiel zur Folge politischen Raum seit den 1990er-Jahren
jedoch zahlreiche Fragen,
Diskurses um KI. Es ist das am häufigs- haben, dass Verbraucher*innen vermu- an Bedeutung. Damals wurde das Thema
etwa, wie sich Transparenz
ten genannte Prinzip in entsprechen- ten, die Informationen seien absichtlich vorwiegend von zivilgesellschaftlichen
umsetzen lässt, wer daran
den Richtlinien. Diese sollen gemeinsam verwirrend gestaltet. Dies könnte den Organisationen sowie supranationalen
beteiligt sein sollte
mit Regulierungsvorhaben die Selbst- Anbieter*innen einen Vorteil verschaffen.2 Institutionen besetzt und bezog sich auf
und welche Maßnahmen
regulierung von Unternehmen ergänzen. Anti-Korruptionsbemühungen. Mitte der
tatsächlich die erwartete
Doch das Konzept der Transparenz ist Woher stammt das Konzept 1990er- sowie in den 2000er-Jahren wurde
Wirkung erzielen. Die
nicht frei von Kritik und auf weite- der Transparenz? Transparenz im Hinblick auf die Finanz-
Debatte um diese Fragen
re Maßnahmen angewiesen, damit Verbrau- krisen und -skandale dieser Zeit gefor-
zeigt sich jünger und
cher*innen, Nutzer*innen und Betroffene Das Wort ‚Transparenz‘ verweist zusam- dert und mündete in Gesetzgebungen wie
kontroverser als der in
ihr Wissen im Alltag anwenden können. men mit Begriffen wie ‚Klarheit‘ auf das der „Transparency Directive“ der Europäi-
den digitalpolitischen
Konzept ‚Wissen‘. In unserem Sprachge- schen Union (EU) aus dem Jahr 2004. Seit
Echokammern etablierte
Der Versuch, Transparenz herzustel- brauch leiten wir von „etwas sehen“ eine einigen Jahren wird Transparenz vermehrt
Ruf nach Transparenz.
len, indem möglichst viele Informationen Erkenntnis und damit Wissen ab. Dies in Bezug auf KI-Verfahren erforscht sowie
angeboten werden, führt nicht zwingend zu hat eine positive Bedeutung. Im Gegen- in gesellschaftlichen und politischen
gut aufgeklärten Nutzer*innen. Vielmehr satz dazu stehen Redewendungen wie „im Debatten gefordert.5 Dabei ist es das
gilt es, die Frage zu berücksichtigen, Dunkeln tappen“, was sich im Diskurs um meistgenannte Prinzip in ethischen Richt-
welche Informationsangebote für eine KI-Verfahren zum Beispiel in der Metapher linien zu KI – 73 von 84 in einer Studie
bestimmte Zielgruppe hilfreich sind. So der „Blackbox“ widerspiegelt.3 Transparenz untersuchten Quellen nennen Transparenz
VERSTEHEN können sich beispielweise textbasierte als Konzept ist zudem mit Informations- als Kriterium. 88 Prozent dieser Richt-
Informationen negativ auswirken, wenn sie asymmetrien verbunden, bei denen eine linien wurden seit 2016 veröffentlicht.6
die Leser*innen durch ihre Menge, Tiefe Seite mehr Informationen als die andere
und fehlende Vergleichbarkeit überfordern besitzt.4 Informationen zu erhalten,
1 Sachverständigenrat für Verbraucherfragen, S. 400.
2 Oehler, S. 261.
3 Larsson/ Heintz, S 6.
4 Ebd., S. 4.
5 Heintz/ Larsson, S. 4.
6 Jobin et al., S. 3.
13
FAQ: Kann ich verlangen,
dass mir erklärt wird,
auf welcher Grundlage
eine KI eine Entscheidung
getroffen hat?
Momentan fehlt eine
gesetzliche Regelung,
die ein solches der Kriterien für vertrauenswürdige KI. Welche Formen von Transparenz beschreibt in diesem Zusammenhang,
Informationsrecht
ausdrücklich vorsieht. Es besteht aus drei Elementen: Nachvoll- fördern Kompetenz? dass die Grenzen der Individualisierung
Deshalb können ziehbarkeit beziehungsweise Rückverfolg- erreicht sind. Wir können demnach nicht
Was hat Transparenz mit Nutzer*innen die barkeit (unter anderem durch Dokumenta- Der Sachverständigenrat für Verbrau- davon ausgehen, dass alle Menschen in
„Ethics Washing“ zu tun? gewünschte Erklärung von tionen zu Datensätzen und Training des cherfragen (SVRV) sieht Lücken in der allen Lebensbereichen stets kompetent
privaten Unternehmen
nicht verlangen. Wie Systems), Erklärbarkeit (zum Beispiel die digitalen Verbraucher*innenkompetenz und sind.19 Angebote von Informationslotsen
Einige Akteur*innen aus das KI-System genau Möglichkeit, den Entscheidungsprozess fordert daher in seinem letzten Gutach- müssen deshalb bei Bedarf die Bürger*in-
Wirtschaft, Wissenschaft funktioniert, kann ein des Systems darzulegen) und Kommunika- ten, digitalpolitische Regulierungen wie nen unterstützen. Hilfreich sind sie
und Zivilgesellschaft Betriebsgeheimnis sein, tion (wie Hinweise an Nutzer*innen zum die KI-Verordnung durch weitere Schritte vor allem dann, wenn sie auf alltägliche
das rechtlich geschützt
betrachten die steigen- ist. Gleiches gilt für Einsatz von KI-Systemen).13 Der Entwurf zu flankieren. Hierzu zählen Maßnahmen der Probleme und Entscheidungen zugeschnitten
de Anzahl ethischer Richt- die Trainingsdaten. des „Artificial Intelligence Act“ der EU Verbraucher*innenbildung sowie Maßnahmen, sind oder am „Ort des Problems und der
linien kritisch. Sie werfen schlägt Transparenzpflichten für Systeme die den wahrgenommenen Aufwand der Infor- Betroffenheit“20 zur Verfügung stehen.21
Anders ist es bei
vor allem Unternehmen vor, in Behörden. Sie sind vor, die „i) mit Menschen interagieren, mationsbeschaffung für Verbraucher*innen
diesem Zusammenhang schein- unmittelbar an das ii) zur Erkennung von Emotionen oder zur reduzieren.18 Dabei könnte die sogenannte
heilig zu handeln, da sie Grundgesetz gebunden. Assoziierung (gesellschaftlicher) Katego- ‚Meta-Bildung‘ helfen. Diese hat das Ziel,
Das regelt das
ethische Richtlinien nach rien anhand biometrischer Daten einge- dass Verbraucher*innen, Nutzer*innen und
Rechtsstaatsprinzip in
außen kommunizieren, struktu- Artikel 20 Absatz 3 des setzt werden oder iii) Inhalte erzeugen Betroffene lernen, die passende Expertise
relle wertegetriebene Verän- Grundgesetzes, zu dem oder manipulieren (‚Deepfakes‘)“.14 Je nach zu finden anstatt selbst Expert*innen zu
derungen jedoch ausbleiben. auch das Transparenzgebot Risikostufe des KI-Systems ändern sich die sein. Ein Beispiel
gehört. Danach müssen
Transparenzpflichten.15 Auch die KI-Strate- für solche Expertisen
staatliche Entscheidungen
Dass diese Richtlinien nachvollziehbar sein, um gie der Bundesregierung sieht in der sind zielgerichtete
zudem unter dem Stichwort das Handeln der Behörde fortgeschriebenen Version von Dezember Angebote vermitteln-
„KI-Ethik“ statt „KI-Politik“ (gerichtlich) kontrollieren Welche Akteur*innen 2020 ein „risikoadäquates Maß an Trans- der Einrichtungen
zu können. Das ist
diskutiert werden, ist laut
wichtig, damit die (Grund-)
fordern Transparenz? parenz und Nachvollziehbarkeit“16 als eine wie der Verbrau-
der Juristin Elettra Bietti Rechte der Bürger*innen der Rahmenbedingungen für „sichere und cherzentralen. Der
symptomatisch dafür, dass geschützt beziehungsweise Zivilgesellschaftliche Organisationen vertrauenswürdige KI-Anwendungen“17 vor. Verbraucher*in-
Unternehmen gesellschafts- durchgesetzt werden auf nationaler und internationaler Ebene nenwissenschaft-
können. Eine Behörde darf
politische Debatten gestalten. beschäftigen sich mit Möglichkeiten, ler Andreas Oehler
sich also nicht dahinter
Das geschieht zum Beispiel verstecken, dass eine KI-Verfahren transparenter zu gestalten,
auch dadurch, dass sie Konfe- Entscheidung von einem etwa Mozilla.9 Darüber hinaus setzen sich
renzen oder wissenschaftliche KI-System getroffen wurde. Forschungseinrichtungen für transparen-
Sie muss offenlegen, wie
Institute finanziell fördern.7 te KI-Anwendungen ein wie das Deutsche
das KI-System zu der
Weitere Kritik bezieht sich Entscheidung gekommen Forschungszentrum für Künstliche Intel-
zudem auf Praktiken, die die ist und sie begründen. ligenz (DFKI). Es forderte bereits 2017
Verantwortung für Risiken in einer gemeinsamen Publikation mit
Weitere Antworten auf
von Produkten auf deren der Bitkom, dass „Algorithmen entwi-
häufig gestellte Fragen
Nutzer*innen abwälzen. Die ckelt werden [müssen], die das Vertrauen
gibt es hier:
Hersteller*innen unterlas- in das System verbessern und zur Trans-
sen es, das Design der Apps www.zvki.de > KI-Navigator parenz beitragen.“10 Das internationale 13 High-Level Expert Group on Artificial Intelligence, S. 18.
14 Europäische Kommission, S. 17.
anzupassen. Stattdessen > Unsere Inhalte > FAQ. Netzwerk Global Network of Internet and 15 Ebd.
erhalten die Nutzer*innen Society Researchers (NoC) fordert Trans- 16 Bundesregierung, S. 25.
17 Ebd.
beispielsweise Benachrichtigungen, ihre parenz von Algorithmen bei der automa- 18 Sachverständigenrat für Verbraucherfragen, S. 10.
19 Oehler, S. 269f.
Nutzungsdauer von Apps einzuschränken. tisierten Moderation von Inhalten auf 20 Ebd., S. 270.
Laut Bietti adressieren solche Vorgehens- Plattformen.11 Auch unter Politiker*innen 21 Ebd., S. 269f.
weisen die Risiken der Produkte nicht gibt es schon länger Stimmen, die vor
tiefergehend.8 Ähnliches gilt bei Trans- allem von großen Tech-Unternehmen mehr
parenzmaßnahmen, wenn Nutzer*innen Transparenz fordern.12 Vorschläge für eine
Informationen erhalten, aber damit auch tatsächliche Gesetzgebung wurden aber
Verantwortung übertragen bekommen und erst in den letzten Jahren konkreter.
weitere unterstützende Maßnahmen ausblei-
ben. So kommt es zum sogenannten „Ethics Die „Ethic Guidelines for Trustworthy AI“
Washing“, bei dem der Fokus vor allem auf der AI HLEG der Europäischen Kommission
der Selbstregulierung des Marktes liegt. von 2019 beschreiben Transparenz als eines
7 Bietti, S. 216.
8 Ebd.
9 Ricks et al., o. S. Verweis Seite
10 Bitkom e. V./ Deutsches Forschungszentrum für Künstliche Intelligenz, S. 70.
11 Timm, o. S. Weitere Informationen zum Thema erklärbare 20 und 24
12 Schultz, o. S. KI finden Sie in der Rubrik VERSTEHEN unter
„Trägt erklärbare KI zu mehr Nachvollzieh-
barkeit bei?“ und im Interview mit Wojciech
Samek in der Rubrik NACHFRAGEN unter „Mit
welchem Ziel wollen wir erklären?“.
Lisa Schmechel Autorin
15
ob deren Ergebnisse begründet werden
Wie zertifizieren wir Welche Standards können. Die Evaluation orientiert sich
Transparenz? entstehen derzeit? an möglichen Risiken: Wie transparent
eine KI-Anwendung sein muss, hängt vom
Zertifikate gelten als eine Maßnahme, Um zu bewerten, wie Anbieter*innen Kontext ab. Eine Evaluation kann dies
um einen gewissen Grad der von KI-Anwendungen Transparenz umset- ermitteln und zudem überprüfen.8 Auch
Transparenz sicherzustellen. Dafür zen, betrachten aktuelle Vorschläge der künftige Veränderungen des Systems sind
muss es jedoch klare Kriterien und Standardisierung sowohl Eigenschaften des laut des Vorschlags regelmäßig zu bewer-
Verfahren geben. Hierbei können KI-Systems an sich als auch des Entwick- ten.
Standards helfen. Doch wie müssen lungsprozesses. Prozessevaluationen haben
sie gestaltet sein, welcher Mehrwert den Vorteil, dass sie in weiten Teilen ● Der Kriterienkatalog „AIC4“ des Bundes-
entsteht dabei für Verbraucher*innen, aussagekräftig bleiben, auch wenn das amts für Sicherheit in der Informa-
Nutzer*innen und Betroffene und KI-System später weiterentwickelt wird.4 tionstechnik (BSI) zielt darauf ab, die
wie ist es möglich, KI-Systeme Sicherheit von KI-Cloud-Dienstleistungen
hinsichtlich Transparenzanforderungen ● Das Projekt „VDE SPEC“ des VDE Verband zu bewerten. Er fordert darüber hinaus
unabhängig zu prüfen? der Elektrotechnik Elektronik Informati- auch erklärbare KI.9 Je nach Kontext,
onstechnik e. V., an dem sich verschie- potenziellen Gefahren und menschlicher
Die Prüfung von KI-Systemen gilt als eine dene Vertreter*innen aus Wissenschaft, Kontrolle entstehen unterschiedliche
Maßnahme, um rechtskonforme und ethisch Wirtschaft und Zivilgesellschaft betei- Anforderungen an die Erklärbarkeit eines
akzeptable KI-Anwendungen zu ermöglichen.1 ligen, legt den Fokus auf die Nachvoll- KI-Systems. Die jeweiligen Wissens-
Hierbei stellen fehlende Standards und ziehbarkeit eines KI-Systems sowie auf stände unterschiedlicher Zielgruppen
Prüfmethoden eine Hürde dar,2 auch wenn seine nachträgliche Überprüfbarkeit.5 sollen dabei berücksichtigt werden.
aktuell zahlreiche Normen in Arbeit sind.3 Zum einen soll eine KI-Anwendung sowohl Falls KI-Ergebnisse nicht erklärbar
für Nutzer*innen als auch für Betrof- sind, gilt es, auch diese Nicht-Erklär-
fene nachvollziehbar sein. Zum anderen barkeit transparent zu machen.10 Ändert
sollen Anbieter*innen Daten und Modell- sich die KI-Anwendung, muss diese erneut
eigenschaften verständlich und vor allem überprüft werden.11
zugänglich dokumentieren. Transparenz
wird dabei in Beziehung zu anderen ● Transparenz und Nachvollziehbarkeit sind
Kriterien für vertrauenswürdige KI wie auch im Entwurf für einen Prüfungsstan-
Datenschutz oder Fairness gesetzt. dard des Instituts der Wirtschaftsprüfer
in Deutschland (IDW) wichtige Krite-
● Der „KI-Prüfkatalog“ des Fraunhofer rien.12 So sollen verwendete Datensätze, Wie ist Transparenz zu prüfen? die weiteren Prüfungen zu erstellen.
IAIS6 ermöglicht es, verschiedene Aspek- KI-Algorithmen und KI-Modelle nachvoll- Der IDW-Standard ermöglicht Prüfberich-
te von Transparenz zu bewerten.7 Dazu ziehbar dokumentiert und für Anwen- Für die Bewertung einer KI-Anwendung gibt te durch externe Wirtschaftsprüfer*in-
zählen die Fragen, ob eine KI-Anwen- der*innen verständlich gemacht werden. es zahlreiche Voraussetzungen, da je nach nen. „VDE SPEC“ soll interne oder exter-
dung für Nutzer*innen und Experten*in- Kontext unterschiedliche Kriterien ins ne Prüfungen anleiten, zukünftig aber um
nen angemessen nachvollziehbar ist und Gewicht fallen.13 Im Fall einer KI-Anwen- ein „AI Trust Label“ ergänzt werden.16
dung, die beispielsweise Mediziner*in-
nen bei der Krebsdiagnose unterstützt, Eine Zertifizierung im Sinne einer Prüfung
ist es besonders wichtig, dass diese die durch unabhängige Dritte17 wäre auf dieser
Funktionsweise nachvollziehen können.14 In Basis möglich, ist jedoch nicht zwingend
anderen Kontexten – wie in der indust- vorgesehen. Bei einer externen Prüfung
riellen Produktion – kann Transparenz für ist es notwendig, dass die Prüfer*in-
„Wie gestalten wir Nutzer*innen weniger bedeutsam sein. nen Zugang zu Daten und Dokumentationen
vertrauenswürdige haben. Eine Leitlinie von Eticas Research
Künstliche
Je nach Anwendung sind zudem unterschied- and Consulting empfiehlt, dass externe
Intelligenz?“
liche Prüfmethoden angemessen. Die aktuel- Prüfer*innen eng mit den Entwickler*in-
Die erste Ausgabe
len Vorschläge sind hier unterschiedlich nen zusammenarbeiten und die genutzten
von Missing Link
beschäftigt sich konkret: Lediglich der „KI-Prüfkatalog“ Daten und Methoden einsehen können.18
ausführlicher mit beschreibt und diskutiert technische
Empfehlungen und Methoden der Prüfung.15 Die anderen drei Dies sind erste Ansätze, um mithilfe von
Richtlinien politischer
Vorschläge verzichten darauf, Prüfme- Standards mehr Transparenz und Nachvoll-
Institutionen zur
Regulierung von thoden tiefergehend zu thematisieren. ziehbarkeit zu erzielen. Konkrete Anwei-
KI-Anwendungen und dem sungen für verschiedene Anwendungs-
„Artificial Intelligence Die vorgeschlagenen Standards sehen meist kontexte fehlen jedoch. Außerdem sind
Act“ (Seite 10 bis 21).
eine freiwillige, oft interne Überprü- Pilotprojekte notwendig, die Messverfah-
Ausgabe 1 von Missing fung von KI-Systemen vor. So hilft der ren für Transparenz weiter erforschen.19
Link steht hier „KI-Prüfkatalog“ vor allem dabei, umfas-
zur Verfügung: sende technische Dokumentationen für
www.zvki.de >
ZVKI Exklusiv >
Fachinformationen.
1 Mangelsdorf/ Gabriel/ Weimer, S. 2.
2 Beckert, S. 20; Adler et al. S. 19.
3 Nativi/ De Nigris, S. 54.
4 Heesen/ Müller-Quad/ Wrobel, S. 41.
5 VDE (2022a), S. 9f.
13 Adler et al., S. 19.
6 Poretschkin et al.
14 Kraus et al., S. 43ff.
7 Ebd., S. 63.
15 Poretschkin et al.
8 Ebd., S. 65ff.
16 VDE (2022b), o. S.
9 Bundesamt für Sicherheit in der Informationstechnik (BSI).
17 Mock et al., S. 53, und Weiss, o. S.
10 Ebd., S. 41.
18 Eticas Research and Consulting SL, S. 17f.
11 Ebd., S. 10.
19 Adler et al., S. 45.
12 Institut der Wirtschaftsprüfer in Deutschland (IDW).
17
Welchen Mehrwert haben Betroffenen beitragen können, hängt davon Zertifikate für KI-Systeme könnten zu
Zertifizierungen für ab, ob sie für Lai*innen verständlich mehr Transparenz für Verbraucher*innen,
Verbraucher*innen? sind. Ansätze, ihnen Prüfergebnisse zu Nutzer*innen und Betroffene beitragen,
vermitteln, sind noch nicht weit entwi- wenn sie verschiedene Aspekte von Trans-
Wenn wir Transparenz herstellen und bewer- ckelt. Erste Vorschläge reichen von visuel- parenz angemessen und auf unterschied-
ten möchten, ist die Frage zentral, wer len Labels, die dem Energieeffizienzklasse- liche Zielgruppen zugeschnitten umsetzen.
die Funktionsweise einer KI-Anwendung Label ähneln – wie das „AI Ethics Label“ Das setzt jedoch etablierte Standards und
verstehen soll. Verschiedene Zielgruppen der AI Ethics Impact Group21 Prüfverfahren voraus,
verfügen über unterschiedliches Wissen –, bis hin zu kompak- Zertifizierung als Teil die in weiten Teilen
der Arbeit am ZVKI
und benötigen dementsprechend aufberei- ten Dokumentationen der noch nicht vorhan-
tete Informationen. Daraus ergeben sich Umsetzung ethischer Krite- Die Frage, wann KI-Systeme den beziehungsweise
als vertrauenswürdig
verschiedene Anforderungen an Trans- rien – wie dem „Aletheia noch nicht detailliert
gelten können, bildet
parenz. Auch wenn alle an dieser Stelle Framework“ des Unterneh- einen Schwerpunkt der genug sind. Dabei sind
beschriebenen Standards diverse Zielgrup- mens Rolls Royce22 oder Arbeit am ZVKI. Das Team Zertifikate einer von
pen im Blick haben, behandelt ledig- dem „Explainability State- des ZVKI erforscht die mehreren Bausteinen,
Grundlagen für zertifizierte
lich der „KI-Prüfkatalog“ des Fraun- ment“ der Gesundheitsan- die zu mehr Transpa-
vertrauenswürdige KI-Systeme
hofer IAIS Transparenzmaßnahmen für wendung Healthily.23 Solche und entwickelt Werkzeuge, die renz für KI-Anwendun-
Expert*innen und Nutzer*innen umfassend Darstellungen könnten für solche Prüfungen ermöglichen. gen beitragen können.
und vor allem getrennt voneinander.20 Zielgruppen mit gerin- Zu unserer Arbeit in diesem
gen Vorkenntnissen jedoch Bereich zählt beispielsweise
Ob Zertifikate zu mehr Transparenz bei schwer verständlich sein. die Fach-AG Zertifizierung,
in deren Rahmen wir uns mit
Verbraucher*innen, Nutzer*innen und
Fragen der Standardisierung,
Evaluation und Zertifizierung
von KI-Systemen
auseinandersetzen.
Zudem wurden auf der
ZVKI-Fachtagung im Juni 2022
Projekte und Initiativen
vorgestellt und diskutiert,
die aktuell an Prüfmethoden
für eine Zertifizierung
von vertrauenswürdiger
KI arbeiten. Im Juli 2022
veröffentlichten wir darüber
hinaus das Essay „Wie können
Regulierung und Standards Autorin
zu vertrauenswürdiger KI
beitragen?“. Es befasst
sich mit dem europäischen
Ansatz einer KI-Regulierung
und prüft, welchen Mehrwert
solche Vorschläge für
Verbraucher*innen haben. Im
kommenden Jahr 2023 widmen
wir uns verstärkt den Fragen
der KI-Zertifizierung im
Rahmen von interdisziplinären
Workshops, Publikationen
sowie eigenen Guidelines.
Mehr Informationen zu
unseren Aktivitäten im
Bereich Zertifizierung
20 Poretschkin et al., S. 67ff. und 72ff.
21 Hallensleben et al.
finden Sie auf unserer
Seite
22 Rolls Royce. Webseite: www.zvki.de.
23 Healthily. Gergana Baeva 19Welche Grenzen haben XAI-Methoden? Beispiel falsche oder benachteiligende
Ergebnisse anfechten können. Handlungs-
Eine Herausforderung beim Einsatz von möglichkeiten setzen jedoch zugängliche
XAI-Methoden ist, dass Erklärungen entwe- Erklärungen und Beschwerdestellen voraus.
der zu komplex und damit schwer inter- Lehnen beispielsweise Vermieter*in-
pretierbar oder zu einfach und dadurch nen potenzielle Mieter*innen aufgrund
irreführend sein können.9 Bei einigen der Vorsortierung einer KI-Anwendung ab,
XAI-Methoden ist es zudem möglich, dass müssen die Bewerber*innen wissen, welche
die Erklärung, wie ein KI-System vorgeht, Faktoren ausschlaggebend waren und wo
von dessen tatsäch- sie sich im Zweifel beschweren
licher Vorgehens- Einblicke in die Arbeit können. XAI-Methoden können
weise abweicht.10 der ZVKI-Partner*innen: Blackbox-Modelle zwar nachvoll-
Außerdem ist Welche Ansätze gibt es, um ziehbarer machen – sie sind
KI-Systeme zu erklären?
An wen richten sich XAI-Methoden? eine vollständi- für die Nachvollziehbarkeit
ge Transparenz und Die Fraunhofer-Institute von KI-Anwendungen seitens
XAI-Methoden richten sich derzeit Nachvollziehbar- AISEC und IAIS sowie Verbraucher*innen, Nutzer*in-
die Freie Universität
vor allem an die Entwickler*innen von keit von Blackbox- Berlin erarbeiten aus nen und Betroffenen aller-
KI-Anwendungen. Die Modelle unterstüt- Modellen derzeit verschiedenen Blickwinkeln dings nicht ausreichend.
zen sie zum Beispiel bei der Fehlersuche nicht möglich.11 wissenschaftliche
Trägt erklärbare KI zu Entwickler*innen verwenden von Beginn an oder helfen ihnen dabei, ein KI-System zu Erkenntnisse zu den Fragen,
was vertrauenswürdige
Nachvollziehbarkeit bei? sogenannte Whitebox-Modelle, die grund- verbessern.5 Auch für Fachexpert*innen, Wenn XAI-Methoden KI ausmacht und wie
sätzlich eine höheres Maß an Transparenz die in der Praxis mit einer KI-Anwen- Für Entwickler*innen existieren bereits einen Mehrwert für sie gefördert werden
Im Forschungsbereich zu erklärbarer KI in Bezug auf kann. Einen Schwerpunkt
Definition: Blackbox dung arbeiten, sind XAI-Methoden etablierte XAI-Methoden, die jedoch Bürger*innen und
entwickeln Wissenschaftler*innen Metho- die verarbeite- laut einer Umfrage des Insti- technisches Wissen voraussetzen.7 Auch Verbraucher*innen der Forschungsarbeiten
KI-Systeme sind häufig so bilden Erklärmethoden für
den, mit denen sich die Ergebnisse von ten Daten und tuts für Innovation und Technik für Fachleute, die in der Regel über haben sollen, sind KI-Systeme. Sie spielen unter
komplex, dass Menschen
KI-Systemen besser nachvollziehen lassen. das Vorgehen deren Entscheidungswege (iit) von 2022 relevant. Dazu kein IT-Wissen verfügen, gibt es erste begleitende Maßnah- anderem eine zentrale Rolle
Sollen Erklärungen zu mehr Wissen sowie eines KI-Modells nicht mehr nachvollziehen zählen etwa Mediziner*innen, verständliche Erklärmethoden.8 Für men notwendig. Das im Verbraucher*innenschutz,
zu überprüfbaren und vertrauenswürdigen aufweisen. Alter-
2 können. Selbst die von KI-Modellen dabei unter- Verbraucher*innen und Bürger*innen Wissen darüber, zum Beispiel bei der
Entwickler*innen können Durchsetzung einer
Systemen beitragen, dürfen sie sich nicht nativ wählen sie stützt werden, Krebszellen zu sind XAI-Methoden in der jetzigen Form wie ein KI-System diskriminierungsfreien
oft nicht nachvollziehen,
auf die technische Ebene beschränken: Blackbox-Model- warum das KI-System einen erkennen. Gleichzeitig sehen die unzugänglich und unverständlich. Damit zu einem Ergeb- KI-Anwendung. Erklärmethoden
Vielmehr müssen Entwickler*innen Erklär- le, die nachträg- bestimmten Lösungsweg Befragten XAI-Methoden in der Erklärmethoden den betroffenen Personen nis kommt, ist die können hauptsächlich
barkeit im gesamten Entwicklungsprozess lich erklärt gewählt hat. Das trifft nahen Zukunft auch als Möglich- einen Mehrwert bieten, müssten sie spezi- Grundlage dafür, in folgende Kategorien
beispielsweise auf eingeteilt werden:
eines KI-Systems mitdenken und mit den werden. Aktuell
3
keit, um Endnutzer*innen und ell zu diesem Zweck aufbereitet werden. dass Nutzer*in-
leistungsstarke künstliche
Zielgruppen einer Anwendung erproben. forschen Wissen- Modellspezifische oder
neuronale Netze zu. Zudem Endkund*innen sowie Patient*in- nen entsprechend
modellagnostische
schaftler*innen weigern sich Organisationen nen über die Funktionsweise handeln und zum
Erklärmethoden:
Erklärbare KI (Explainable AI; XAI) ist an verschiedenen oft, Informationen zum eines KI-Systems aufzuklären.6
KI-Modell offenzulegen. Modellspezifische
ein Forschungsbereich, in dem Wissen- Erklärmethoden Solche Erklärungen scheinen
XAI-Methoden erfordern
schaftler*innen Methoden entwickeln, mit (XAI-Methoden), Das gilt sowohl für besonders wichtig für Personen
einen Zugang zur
denen sich die Ergebnisse und Vorgehens- um die Nachvoll- die Trainingsdaten zu sein, die von den Ergebnis-
internen Funktionsweise
und Zielvorgaben als auch
weisen von KI-Systemen nachvollziehen ziehbarkeit von des KI-Modells und
für die Funktionsweise sen eines KI-Systems betroffen
sind nicht auf andere
lassen. Die Metastudie „How to explain AI solchen Black- von KI-Modellen. Deshalb sind, die aber auf dessen Verwen-
KI-Modelle übertragbar.
systems to end users“ von 2022 identi- box-Modellen wissen wir etwa nicht, dung keinen Einfluss haben. Dies
fiziert fünf zentrale Ziele von erklär- zu erhöhen. 4 wie der Suchalgorithmus sind zum Beispiel Bewerber*in- Modellagnostische
von Google genau XAI-Methoden können bei
barer KI: XAI soll das Verständnis, die funktioniert. Fehlende nen um eine Stelle oder Anwär- jedem Blackbox-Modell
Vertrauenswürdigkeit, die Transparenz, Transparenz erschwert die ter*innen auf einen Kredit. angewendet werden.
die Kontrolle und die Fairness einer Kontrolle von KI-Systemen
erheblich, beispielsweise Lokale oder globale
KI-Anwendung erhöhen.1 Generell gibt es Erklärmethoden:
um eine (un-)beabsichtigte
zwei Möglichkeiten, die dazu beitra- Verzerrung (bias) Lokale XAI-Methoden
gen, dass Menschen die Ergebnisse eines aufzudecken oder setzen das Ergebnis eines
KI-Systems besser nachvollziehen können: um robuste KI-Modelle zu KI-Systems in Bezug zu den
entwickeln. Transparenz und spezifischen Eingaben.
Nachvollziehbarkeit sind
daher wichtige Bestandteile Globale XAI-Methoden
vertrauenswürdiger KI, erklären die Gesamtlogik
die zum Beispiel mithilfe des KI-Modells.
von Methoden erklärbarer
KI (Explainable AI) Mehr über unsere
erreicht werden können. Verbundpartner*innen gibt
es auf unserer Webseite:
Weitere Begriffsdefinitionen
rund um das Thema www.zvki.de > ZVKI-Exklusiv
vertrauenswürdige KI gibt > Netzwerk.
es auf unserer Webseite:
www.zvki.de > KI-Navigator
> Unsere Inhalte > Glossar. 7 Ebd., S. 3.
1 Laato et al., S. 10. 8 Kraus/ Ganschow, S. 38; Kraus et al., S. 3.
2 Kraus et al., S. 40. 9 Lossos/ Geschwill/ Morelli, S. 312, S. 314.
3 Schaaf, Wiedenroth & Wagner, S. 15. 10 Schmid, o. S.
4 Für eine Übersicht siehe Holzinger et al. 11 Walmsley, S. 592.
5 Asghari et al., S. 12.
6 Kraus et al., S. 38. 21Wie kann die Nachvollziehbarkeit ken. Doch steigert erklärbare
von KI-Systemen KI auch die Vertrauenswür-
sichergestellt werden? digkeit von KI-Systemen?
Aktuell beschränken sich die meisten Laut der Metastudie „How to
Ansätze erklärbarer KI auf eine techni- explain AI systems to end
sche Perspektive. Doch KI-Anwendungen users“ von 2022 ist es ein
sind sozio-technische Systeme12: Entschei- allgegenwärtiges Ziel, mithil-
Fach-AG Verbraucher*innen-Information
der*innen und Entwickler*innen müssen fe von Erklärmethoden die
die Erklärbarkeit von KI-Systemen über Die Fach-AG Verbraucher*innen- Vertrauenswürdigkeit eines
den gesamten Entwicklungs- und Anwen- Information des ZVKI beschäftigt KI-Systems zu erhöhen.18 Viele
sich mit erklärbarer KI im
dungsprozess eines KI-Systems mitden- Wissenschaftler*innen nehmen
Verbraucher*innenkontext
ken. Erklärbarkeit darf sich deshalb und stellt die Frage: Wie an, dass Erklärbarkeit das
nicht auf XAI-Methoden beschränken, können Nutzer*innen und Vertrauen von Menschen in
die nachträglich komplexe KI-Syste- Betroffene verstehen, warum KI-Anwendungen steigert.19
ein KI-System ein bestimmtes
me nachvollziehbar machen sollen.13 Dabei kommt es unter anderem
Ergebnis ausgibt? Ziel ist
es, Handlungsempfehlungen zu auf die Qualität und die Art
Erklärbare KI ist vielmehr ein Kommuni- erarbeiten, die aufzeigen, der jeweiligen Erklärung an20
kationsprozess zwischen verschiedenen wie XAI zur Aufklärung von – nicht jede Erklärung führt
Verbraucher*innen in der
Menschen.14 Ein solcher ganzheitlicher automatisch zu mehr Vertrau-
Praxis genutzt werden kann.
Ansatz beinhaltet zum Beispiel, dass sich Zu den Teilnehmer*innen zählen en. Andere Studien kommen
Auftraggeber*innen und Entwickler*in- unter anderem Expert*innen hingegen zu dem Schluss, dass
nen zu Beginn des Entwicklungsprozes- aus Verbraucher*innenschutz- Erklärungen keinen oder sogar
und Bildungsorganisationen
ses fragen, ob ein KI-System nötig ist einen negativen Effekt auf
sowie aus der Wissenschaft.
und wie es gestaltet sein muss: Welche das Vertrauen von Menschen
Erklärmethoden und Kommunikationswe- Mehr über die Fach-AG gibt in KI-Anwendungen haben
ge sind notwendig, damit die KI-Anwen- es auf unserer Webseite: können. Dies könne daran
dung anschließend für Anwender*innen oder www.zvki.de > Mitmachen. liegen, dass eine Erklä- Diese Erkenntnis widerspricht jedoch bare KI die Transparenz von KI-Systemen die Vertrauenswürdigkeit von KI-Systemen
Betroffene nachvollziehbar ist? Dabei sind rung Probleme und Fehler des nicht automatisch dem genannten Ziel von erhöht, erleichtert das Entwickler*innen, steigern, indem Menschen die Ergebnisse
je nach Anwendungskontext unterschied- Erhöht erklärbare KI das Systems aufzeigt. Dadurch können Menschen erklärbarer KI, die Vertrauenswürdig- Nutzer*innen und Betroffenen, die Syste- von KI-Anwendungen überhaupt überprüfen
liche Erklärungen sinnvoll.15 Verschiedene Vertrauen in KI-Systeme? Vertrauen in das System verlieren.21 keit von KI-Systemen zu erhöhen: Lena me zu überprüfen. Auf dieser Grundlage und damit legitimieren können.22 Inwie-
Zielgruppen stellen außerdem individu- Kästner, Professorin für Computer Science, können sie beurteilen, ob ein KI-System fern diese Annahme in der Praxis haltbar
elle Ansprüche an die Erklärungen eines Erklärbare KI kann die Nachvollziehbarkeit und ihre Kolleg*innen argumentieren, dass vertrauenswürdig ist oder nicht. Erklär- ist, müssen weitere Studien zeigen.
KI-Systems.16 Deshalb müssen XAI-Methoden und Transparenz von KI-Systemen erhöhen es sinnvoll ist, zwischen dem Vertrau- bare KI führt also nicht automatisch
mit den Endnutzer*innen erprobt werden.17 – vor allem, wenn Entwickler*innen die en in und der Vertrauenswürdigkeit von dazu, dass Menschen KI-Anwendungen mehr
Erklärbarkeit über den gesamten Entste- KI-Systemen zu unterscheiden. Wenn erklär- Vertrauen entgegenbringen. XAI kann aber
hungsprozess einer KI-Anwendung mitden-
22 Kästner, S. 170ff.
Verweis Seite
Mehr zur Funktionsweise und zum Einsatz von XAI-Methoden finden Sie im Interview mit Wojciech 24
Samek in der Rubrik NACHFRAGEN unter „Mit welchem Ziel wollen wir erklären?“.
Ein Beispiel für ein Erklärungskonzept einer KI-Spracherkennungssoftware finden 28 Autorin
Sie in der Rubrik VERARBEITEN unter „Wie erzeugen wir Verständnis?“.
12 Ehsan, S. 1.
13 Asghari et al., S. 2. Asghari et al. setzen sich in ihrem Bericht mit Systemen zur algorithmischen Entscheidungsfindung (ADM-Systemen) als sozio-technischen Systemen
auseinander. Da auch KI-Anwendungen ADM-Systeme sind, übertragen wir die Erkenntnisse der Autor*innen auf diese.
14 Ebd., S. 1.
15 Ebd., S. 12.
16 Langer et al., S. 5.
Franziska Busse
17 Asghari et al., S. 1.
18 Laato et al., S. 10.
19 Kästner, S. 169.
20 Shin.
21 Kästner, S. 169. 23Ergebnis verhält. Wenn Wie ist es möglich, zu
MIT WELCHEM ZIEL es beispielsweise darum aussagekräftigeren Erklä-
WOLLEN WIR ERKLÄREN? geht, auf Bildern einen
Hund zu erkennen, erhal-
rungen zu kommen?
ten wir als Erklärung Genau daran arbeiten wir
Es gibt zahlreiche Ansätze, wie eine sogenannte Heatmap. gerade. Eine Möglichkeit
Erklärungen von KI-Modellen aussehen Das ist eine Darstellung ist, die Erklärung von der
können. Viele davon sind nur bedingt davon, welche Pixel oder Pixel- auf eine Konzept-
aussagekräftig. Wojciech Samek entwickelte Bereiche eines Bilds Definition: Deep Learning ebene zu heben, die für
einen dieser Ansätze gemeinsam mit als besonders relevant uns Menschen verständ-
(auf Deutsch: tiefes Lernen)
Kolleg*innen weiter, um verständlichere bewertet wurden. Im Komplexe künstliche neuronale licher ist. Im Fall des
Erklärungen zu erhalten. Im Interview Fall des Hundes sind Netze, die mehr als drei Beispiels mit der Alters-
schildert er, wie dieses neue Verfahren das etwa die Pixel, die Schichten künstlicher schätzung würde das bedeu-
Neuronen umfassen
funktioniert, warum Erklärbarkeit die Schnauze oder die ten, dass wir darstellen,
wichtig ist, woran Forscher*innen Ohren abbilden. Damit Der Begriff „deep“ bzw. ob das Konzept ‚Lachen‘
weiterarbeiten müssen und warum es entsteht eine Verbindung „tief“ bezieht sich auf oder das Konzept ‚Farbe
die Menge der Schichten
notwendig ist, dabei die Nutzer*innen zwischen dem Eingangs- der Zähne‘ relevant für
künstlicher Neuronen.
und Einsatzkontexte zu berücksichtigen. bild und dem Ergebnis. Mit jeder zusätzlichen das Ergebnis ist. Dafür
Schicht erhöht sich der haben wir kürzlich eine
Die Erklärbarkeit von KI scheint in Diese Art des Erklä- Abstrahierungsgrad des neue Methode entwickelt.
Systems und die Fähigkeit,
Fachkreisen einen regelrechten Hype rens ist weit verbreitet Sie nennt sich „concept
komplexere Aufgaben zu
zu erfahren. Warum ist das so? und zugleich bleibt es bewältigen. Dazu gehört die relevance propagation“ und
ein recht allgemeines Erstellung von realistischen erlaubt uns, Entscheidun-
An sich ist das Thema Erklärbarkeit in Verfahren. Ich möchte Deep Fakes. Gleichzeitig gen stärker in mensch-
verstärkt sich dabei das
Bezug auf KI nicht neu. Bereits in den das an einem Beispiel liche Denkschemata zu
Problem von Künstlicher
1990er-Jahren beschäftigte es Wissen- verdeutlichen: Wir haben Intelligenz als Blackbox. übertragen. Dadurch sind
schaftler*innen. Auch damals wollten einen Klassifikator sie genauer und verständ-
Weitere Begriffsdefinitionen
Entwickler*innen wissen, wie die Model- trainiert, der das Alter licher. Das Paper dazu
finden Sie hier:
le funktionieren, mit denen sie arbeiten. von Menschen anhand ist im Juni erschienen.1
Etwa seit der Jahrtausendwende, aber vor von Bildern schät- www.zvki.de > KI-Navigator
allem in den letzten Jahren haben sich zen soll. Das Modell > Unsere Inhalte > Glossar. Ich bin davon überzeugt,
Deep-Learning-Anwendungen stark verbrei- klassifizierte ein Bild dass wir Erklärungen so
tet und damit wurden auch die Anwen- einer jungen lachenden Frau als jung. gestalten müssen, dass die jeweiligen
dungsbereiche vielfältiger. Gegenwär- Dabei bewertete es die Bildausschnitte Empfänger*innen in der Lage sind, sie zu
tig wirken KI-Modelle auf das Leben und des Mundes als relevant. Das Bild einer verstehen. Bei Bildern ist das vergleichs-
Arbeiten von Menschen in der Medizin, im alten lachenden Frau wurde als alt einge- weise einfach, weil wir Menschen sehr gut
Mobilitätssektor oder in der Forschung. stuft. Hierbei wurden die Pixel, die den darin sind, Bilder zu lesen. Bei anderen
Dadurch rückt das Thema Erklärbarkeit Mund abbildeten, als kontraindikativ für Daten ist es deutlich komplizierter. Wenn
stärker in den Fokus. Zu Recht wollen wir das Ergebnis (negative Relevanz) bewerr- beispielsweise ein EKG-Signal klassifiziert
verstehen, wie die eingesetzten Modelle tet. Das lässt folgende Annahme zu: Das werden soll, müssen wir herausfinden, wie
vorgehen und ob sie korrekt funktionie- Modell hat gelernt, dass Menschen, die Kardiolog*innen das machen, damit die
ren. Wir wollen nachvollziehen können, viel lachen, jünger sind als diejeni- Erklärungen für sie verständlich sind.
wie sie eine gestellte Aufgabe lösen. gen, die weniger lachen. Dieses Beispiel
stellte ich in einigen meiner Vorträ- „Ich bin davon
Wie sehen Erklärungen von KI-Modellen aus? ge vor. Das führte häufiger zu der Frage,
woher ich denn wüsste, ob wirklich das überzeugt, dass
Wir haben ein Verfahren für Erklärun- Lachen an sich ausschlaggebend sei. Es
gen entwickelt, das „layer-wise relevan- könnte doch auch sein, dass das Modell wir Erklärungen so
ce propagation“ heißt. Es bezieht sich
vor allem auf den Input – also auf die
die Farbe der Zähne als relevant bewer-
tete. Mit den Heatmaps allein können
gestalten müssen,
Daten, die ein System erhält. Die Erklä- wir das nicht eindeutig beantworten. dass die jeweiligen
rung enthält Informationen dazu, welche Wir wissen lediglich, welche Pixel als
Inputdimensionen (zum Beispiel Pixel in besonders bedeutsam bewertet wurden. Empfänger*innen in
einem Bild) durch das Modell als besonders
wichtig bewertet werden. Damit erfahren der Lage sind, sie
wir mehr darüber, wie sich der Input zum
zu verstehen.“
NACHFRAGEN 1 Lapuschkin/ Samek et al.
25Sie können auch lesen
