Whitepaper on Robust AI Assessment - Whitepaper zum Robust AI Assessment - Deutsche Telekom
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Whitepaper on Robust AI Assessment Whitepaper zum Robust AI Assessment
Table of Content Inhaltsverzeichnis 1. PREFACE − MANUELA MACKERT 07 1. VORWORT – MANUELA MACKERT 07 1.1. What is meant by "robust"? 09 1.1. Was ist mit „robust“ gemeint? 09 1.2. Responsible, sustainable handling (accountability) of decisions by AI 09 1.2. Verantwortungsvoller, nachhaltiger Umgang (Accountability) mit Entscheidungen durch KI 09 2. OVERVIEW, INTRODUCTION & THEORY 13 2. ÜBERBLICK, EINFÜHRUNG & THEORIE 13 2.1. What is robust AI? 13 2.1. Was ist robuste KI? 13 2.1.1. What is AI? 13 2.1.1. Was verstehen wir unter KI? 13 2.1.2. Deceptions for AI models 14 2.1.2. Täuschungen für KI-Modelle 14 2.1.3. Bias and AI models (bias) 16 2.1.3. Voreingenommenheit und KI-Modelle (Bias) 16 2.1.4. Defining robust AI 17 2.1.4. Definition „Robuste KI“ 17 2.2. Why is it important to us that our AI solutions are robust? 19 2.2. Warum ist es uns wichtig, dass unsere KI-Lösungen robust sind? 19 2.3. How robust should AI solutions be? 20 2.3. Wie robust sollten KI-Lösungen sein? 20 3. ROBUSTNESS SELF-ASSESSMENT 23 3. ROBUSTNESS SELF-ASSESSMENT 23 3.1. Why do we use a self-assessment framework? 23 3.1. Warum nutzen wir ein Self-Assessment Framework? 23 3.2. How is the self-assessment concept structured? 24 3.2. Wie ist das Self-Assessment-Konzept strukturiert? 24 3.3. Weighting of the questions 25 3.3. Gewichtung der Fragen 25 3.4. What values does the Robust AI Assessment provide? 26 3.4. Wie setzen sich die Ergebniswerte zusammen? 26 4. CONTENT OF THE ASSESSMENTS 29 4. INHALT DES ASSESSMENTS 29 4.1. Required Robustness 29 4.1. Required Robustness 29 4.1.1. Assessing the effects of wrong decisions of the AI model 30 4.1.1. Einschätzen der Auswirkungen von Fehlentscheidungen des KI-Modells 30 4.1.2. Assessing the probability of wrong decisions of the AI model 36 4.1.2. Einschätzen der Eintrittswahrscheinlichkeit von Fehlentscheidungen des KI-Modells 36 4.2. Actual Robustness 46 4.2. Actual Robustness 46 4.2.1. Process 47 4.2.1. Prozess 47 4.2.2. AI model 53 4.2.2. KI-Modell 53 4.2.3. Data 62 4.2.3. Daten 62 5. SUMMARY 71 5. ZUSAMMENFASSUNG 71 6. CRITICAL APPRAISAL 73 6. KRITISCHE WÜRDIGUNG 73 7. OUTLOOK 75 7. AUSBLICK 75 8. APPENDIX 77 8. ANHANG 77 8.1. Calculation of the Required Robustness Score 77 8.1. Berechnung des Required Robustness Scores 77 9. IMPRINT 81 9. IMPRESSUM 81
Preface – Vorwort –
Manuela Mackert Manuela Mackert
The social acceptance of artificial intelligence Die gesellschaftliche Akzeptanz von künstlicher
depends on its robustness, performance and Intelligenz hängt von der Robustheit, der Leistungs-
responsible, sustainable use. fähigkeit und dem verantwortungsvollen, nachhal-
tigen Umgang mit ihr ab.
Artificial intelligence (AI) is already an integral part Künstliche Intelligenz (KI) ist bereits heute aus unserem
of our everyday lives. AI is increasingly "making" Alltag nicht mehr wegzudenken. KI trifft immer häufiger
decisions that have a significant impact on our lives, Entscheidungen, die unser Leben maßgeblich beein-
1
including decisions involving healthcare, delivery, flussen, wie z. B. in der Medizin, beim Autofahren oder bei
driving a car or granting loans. der Kreditvergabe.
Currently, AI models cannot yet question their own Aktuell können KI-Modelle bei der Übertragung
results when transferring what they have learned von Gelerntem noch nicht die eigenen Ergebnisse
− they only apply trained patterns. The following hinterfragen – sie wenden lediglich trainierte
scenario has already been successfully tested under Muster an. Folgendes Szenario wurde bereits unter
Kapitel 01
laboratory conditions. Someone is sitting in a self- Laborbedingungen erfolgreich getestet. Jemand sitzt in
driving car and a drone projects traffic signs onto the einem selbstfahrenden Auto und eine Drohne projiziert
road for fractions of a second, which the car heeds für Bruchteile einer Sekunde Verkehrsschilder auf die
as it drives. This drone was programmed to cause an Straße, nach denen das Auto fährt. Diese Drohne wurde so
accident. From today‘s point of view, this would be an programmiert, dass ein Unfall entstehen soll. Das wäre aus
(almost) perfect crime, since there would be virtually heutiger Sicht ein (nahezu) perfektes Verbrechen, da kaum
no evidence left behind.1 nachvollziehbare Spuren hinterlassen werden.1
AI has no feelings and no personality. For this reason, KI hat keine Gefühle und keine Persönlichkeit. Aus diesem
it is considered objective. It is solely guided by pure Grund gilt sie als objektiv. Sie wird von reiner „Logik“,
"logic", i.e. the algorithms. Whereas humans can den Algorithmen geleitet. Denn da, wo wir Menschen
be prejudiced and biased, AI decides rationally and vorurteilsbelastet und voreingenommen sein können,
impartially. But is this really the case? The following entscheidet die KI absolut rational und unparteiisch – oder
example arose at a large international corporation. doch nicht? Das folgende Beispiel hat sich bei einem
The AI Recruiting Project not only produced großen internationalen Konzern ereignet. Die KI schlug
completely unsuitable candidates, but also showed in einem Recruiting-Projekt nicht nur völlig ungeeignete
a bias against women. How was this possible? The Personen vor, sie war zudem voreingenommen gegenüber
algorithm can only learn from the data we provide, Frauen. Wie war das möglich? Der Algorithmus kann nur
that is, from what is given to the machines as input. von unseren bereitgestellten Daten lernen, also davon, was
In the above recruiting example, the AI was trained den Maschinen als Dateninput gegeben wird. In diesem
with human recruitment decisions. In this example, Beispiel wurde die KI mit menschlichen Einstellungs-
it merely reproduced the existing biases displayed entscheidungen trainiert.
1 Cyber Security Labs @ Ben Gurion University, Phantom of the ADAS:
Phantom Attacks on Driving Assistance Systems https://www.youtube.
com/watch?v=1cSw4fXYqWI&feature=emb_logo. 2020.
7by human decision-making, and therefore only
suggested young, white, male candidates. There is
Diese waren natürlich vorbelastet durch Voreingenom-
menheiten, welche die KI reproduzierte und so nur junge,
1.1. WHAT IS MEANT 1.1. WAS IST MIT
therefore a risk that we transfer our individual biases
through data into the fundamentals of the AI training,
weiße, männliche Personen vorschlug. Es besteht also die
Gefahr, dass wir unsere individuelle Befangenheit über die
BY "ROBUST"? „ROBUST“ GEMEINT?
thus causing bias and stereotypes. Daten in die Trainingsgrundlagen der künstlichen Intel- Robust AI solutions are solutions that are impervious Robuste KI-Lösungen sind Lösungen, die unempfindlich
ligenzen bringen und so darüber Voreingenommenheit to influences and provide the expected performance gegenüber Einflüssen sind und die in unsicheren sowie
This means that we need highly reliable AI systems sowie Stereotype manifestieren. in uncertain and unpredictable environments, without unvorhersehbaren Umgebungen die erwartete Perfor-
with the integrity to make timely and safe decisions reproducing any human bias. When developing AI mance bieten und dabei die Voreingenommenheit nicht
in uncertain and unpredictable environments. In Das bedeutet im Umkehrschluss, dass wir hochgradig systems, these capabilities must be constructed and reproduzieren. Bei der Entwicklung von KI-Systemen
doing so, it is important to compensate for human zuverlässige und integre KI-Systeme brauchen, die in un- implemented with the utmost care. müssen diese Fähigkeiten gezielt umgesetzt werden.
weaknesses in decision-making. The AI systems sicheren sowie unvorhersehbaren Umgebungen zeitnah
must be resistant to targeted attacks and be built to und sicher Entscheidungen treffen können. Dabei gilt For this reason, we have introduced a "Robust Bei der Deutschen Telekom haben wir aus diesem Grund
process large amounts of data without abandoning es, die menschlichen Schwächen bei Entscheidungen zu AI Assessment" at Deutsche Telekom (DT). This ein „Robust AI Assessment“ eingeführt. Dieses Assess-
established societal progress towards equity and kompensieren. Die KI-Systeme müssen resistent gegen assessment is a component of our Digital Ethics ment ist ein weiterer Baustein unserer Digital Ethics Initia-
equality. zielgerichtete Angriffe sein und dafür gebaut sein, große Initiative to combine the development of the latest tive, um die Entwicklung von neuesten Technologien mit
Chapter 01
Kapitel 01
Datenmengen verarbeiten zu können, ohne etablierte technologies with strong ethical standards. In this unseren ethischen Ansprüchen zu verbinden. Mit diesem
Weaknesses in AI models have the potential to cause zivilisatorische Errungenschaften aufzugeben. project, we focus on the analysis and evaluation of Projekt fokussieren wir uns auf die Analyse und Bewertung
enormous damage to the company developing the robustness of AI systems. der Robustheit von KI-Systemen.
models. The security of the AI software system is Wenn Schwachstellen in KI-Modellen vorliegen, kann das
therefore essential for future use. We must design Schadenspotenzial für das entwickelnde Unternehmen
the AI systems to be robust so that any negative enorm sein. Die Sicherheit des KI-Softwaresystems ist 1.2. RESPONSIBLE, 1.2. VERANTWOR-
consequences are minimized and that, despite somit essenziell für die zukünftige Nutzung. Wir müssen
everything, performance does not suffer. die KI-Systeme so robust gestalten, dass diese enormen SUSTAINABLE TUNGSVOLLER,
Konsequenzen so gering wie möglich bleiben und trotz
allem die Performance nicht leidet. HANDLING (ACCOUN- NACHHALTIGER
TABILITY) OF UMGANG (ACCOUN-
DECISIONS BY AI TABILITY) MIT
The use of AI poses novel challenges to our existing ENTSCHEIDUNGEN
value system, as well as the responsibility and
liability associated with it. Currently, decisions and DURCH KI
the associated responsibility can be attributed to
individuals. How will this change in the future, when Der Einsatz von KI stellt unser bisheriges Wertesystem
actions performed by AI software systems can sowie die damit verbundene Verantwortung und Haftung
or should no longer or only partially be controlled vor ganz neue Herausforderungen. Aktuell können Ent-
by humans? AI cannot be only a black box for us. scheidungen und die damit verbundene Verantwortung
We have to clearly define the systems and their Personen zugerechnet werden. Wie wird sich das in der
processes. It is equally important to have complete Zukunft ändern, wenn Handlungen die KI-Softwaresysteme
documentation and assignment of responsibility. durchführen, nicht mehr oder nur zum Teil von Menschen
8 9Human beings must be able to intervene in human- kontrolliert werden können oder sollen? Die KI darf für uns
machine interactions. For example, we must be keine Blackbox sein. Wir müssen die Systeme und deren
able to stop or interrupt a system by means of Prozesse klar definieren. Ebenso wichtig ist eine lücken-
an emergency stop switch. Many things can be lose Dokumentation und Verantwortungszuordnung. Der
digitalized or automated, but responsibility is not Mensch muss bei Mensch-Maschine-Interaktionen die
one of them. Day after day, more and more decisions Möglichkeit haben, zu intervenieren oder aber ein System
are being made by AI software systems and thus per Notausschalter anzuhalten oder zu unterbrechen. Es
delegated, but this does not mean that responsibility kann vieles digitalisiert oder automatisiert werden, aber
for the decisions made − possibly wrong decisions − Verantwortung gehört nicht dazu. Tag für Tag werden
also lies with the machines. immer mehr Entscheidungen von KI-Softwaresystemen
getroffen und somit delegiert, das heißt aber nicht, dass
Digital transformation is to be understood holistically. auch die Verantwortung für die getroffenen Entschei-
It is not only about technology, but above all about dungen – auch mögliche Fehlentscheidungen – bei den
how we enable ethical leadership − leadership that Maschinen liegt.
takes values, dignity, and rights of individuals and
Chapter 01
groups into account. From there, the question Digitale Transformation ist ganzheitlich zu verstehen. Es
is then how to generate sustainable business geht nicht nur um die Technologie, sondern vor allem auch
guided by ethical leadership and innovative use darum, wie wir Ethical Leadership, d. h. Führung unter
of technology. In the foreseeable future, so-called Berücksichtigung von Wertvorstellungen und der Würde
intelligent technologies will complement human und Rechte von Individuen und Gruppen befähigen und
(emotional) intelligence. The emphasis here is on the hieraus nachhaltiges Geschäft generiert werden kann.
word complement – we foresee a complex human- Die sogenannten intelligenten Technologien werden auf
machine partnership, with its many ethical and absehbare Zeit die menschliche (emotionale) Intelligenz
business-relevant implications. ergänzen. Es geht um die Mensch-Maschine-Partnerschaft
mit allen ethischen und business-relevanten Implikationen.
By introducing the "Robust AI Assessment," we want
to transform social responsibility in the digital age Mit dem Thema „Robust AI Assessment“ möchten wir der
and be a trustworthy partner for our customers. gesellschaftlichen Verantwortung im digitalen Zeitalter
gerecht werden und unseren Kundinnen und Kunden eine
vertrauensvolle Basis bieten.
10Overview, Überblick,
Introduction & Einführung &
Theory Theorie
2.1. WHAT IS 2.1. WAS IST
ROBUST AI? ROBUSTE KI?
2.1.1. WHAT IS AI? 2.1.1. WAS VERSTEHEN WIR UNTER KI?
The term Artificial Intelligence (AI) was first used Der Begriff KI wurde 1956 erstmals durch den
in 1956 by the American computer scientist John amerikanischen Computerwissenschaftler John McCarthy
2
McCarthy.2 The term was used to describe systems bekannt.2 Bis heute wird die Bezeichnung KI genutzt, um
that imitate human intelligence and develop their Systeme zu beschreiben, die menschliche Intelligenz
own methods to solve tasks independently – without nachahmen und eigene Methoden entwickeln, um
human intervention – and that remains how it is Aufgaben selbstständig – ohne menschlichen Eingriff –
defined today.3 zu lösen.3
Within DT and for the purposes of this whitepaper, Innerhalb der Deutschen Telekom AG (DTAG) und
Kapitel 02
projects are considered AI when they pursue the goal in diesem Whitepaper werden alle Projekte als KI
of implementing certain abilities of human thinking betrachtet, die das Ziel verfolgen, bestimmte Fähigkeiten
in computer systems, in order to enable the systems des menschlichen Denkens in Computersystemen zu
to solve tasks independently. The automation of implementieren, sodass diese selbstständig Aufgaben
business processes is not a new phenomenon. Until lösen können. Die Automatisierung von geschäftlichen
now, these processes have been defined directly Prozessen ist kein neues Phänomen. Bisher wurden diese
by specific rules. Now, automation is increasingly Prozesse direkt mittels bestimmter Regeln definiert.
implemented by AI systems that use "learned" rules Nun wird Automatisierung zunehmend durch KI-Systeme
derived from data. These stochastic AI systems are umgesetzt, die auf „gelernten“, aus Daten abgeleiteten
usually much more complex than previous systems Regeln basieren. Diese stochastischen KI-Systeme
were. While this makes it more difficult to understand sind meist deutlich komplexer als es frühere Systeme
decisions and actions, it also enables the solution of waren. Dies führt zwar dazu, dass es schwieriger wird,
much more complex tasks. Entscheidungen und Handlungen nachzuvollziehen, auf
der anderen Seite ermöglicht es aber auch das Lösen von
The goal of automating processes has not changed deutlich komplexeren Aufgaben.
for decades. The available means, however, have
been greatly expanded in the past years. Das Ziel möglichst automatisierter Prozesse hat sich seit
Jahrzehnten nicht verändert. Nur die zur Verfügung
stehenden Mittel sind andere geworden.
2 S. L. Andresen, "John McCarthy: father of AI," in IEEE Intelligent Sys-
tems, vol. 17, no. 5, pp. 84-85. DOI: 10.1109/MIS.2002.1039837. 2002.
3
2 S.Lucas, Bruce D.,
L. Andresen, and McCarthy:
"John Takeo Kanade. "Anofiterative
father image
AI," in IEEE registration
Intelligent Sys- 3 Lucas, Bruce D., and Takeo Kanade. "An iterative image registration
technique with
tems, vol. 17, no.an
5, application
pp. 84-85. to stereo
DOI: vision." pp. 674. 1981. 2002.
10.1109/MIS.2002.1039837. technique with an application to stereo vision." pp. 674. 1981.
13Ship Horse Deer Cat Car Bird
2.1.2. DECEPTIONS FOR AI MODELS 2.1.2. TÄUSCHUNGEN FÜR KI-MODELLE
An AI model does not perceive reality as a Ein KI-Model nimmt nicht die gesamte Wirklichkeit wahr.
whole. Instead, only previously trained patterns Stattdessen werden nur vorher trainierte Muster erkannt
One Pixel
Attack
are recognized and processed. This can lead to und weiterverarbeitet. Dadurch können Effekte auftreten,
effects that are comparable to traditional "human" die vergleichbar mit „menschlichen“ optischen Täu-
optical illusions − a phenomenon that occurs when schungen sind. Ein Phänomen, das immer dann auftritt,
generalized thought patterns do not correspond to wenn die generalisierten Denkmuster nicht mit der tat- False Car Frog Airplane Dog Airplane Frog
the actual situation. sächlich vorliegenden Situation übereinstimmen. Classification 99.7 % 99.9 % 85.3 % 78.2 % 82.4 % 86.5 %
While the effect in humans is usually minor and Während der Effekt beim Menschen meist unkritisch ist
can be observed mainly in intentionally arranged und sich hauptsächlich bei absichtlich angeordneten AI models distinguish between two types of Bei KI-Modellen unterscheidet man zwischen zwei Arten
shapes, for AI models, the effects are often far Formen beobachten lässt, sind die Auswirkungen für borderline cases: von Grenzfällen:
more significant. Borderline cases, where the AI KI-Modelle oft größer. Grenzfälle, bei denen das KI-Modell
model thinks it recognizes patterns that are not meint, Muster zu erkennen, die in der Realität nicht vor- 1. Natural perturbations: Natural perturbations are 1. Natural Perturbations: Als Natural Perturbations werden
Chapter 02
Kapitel 02
present in reality, quickly lead to wrong decisions. handen sind, führen hier schnell zu falschen Entschei- deviations that can occur "naturally" in the input data. Abweichungen bezeichnet, die „natürlich“ in den Eingabe-
This is especially critical when it is not possible to dungen. Das ist besonders dann kritisch, wenn es nicht These natural patterns can be caused by natural daten entstehen können. Diese natürlichen Muster können
understand how the system comes to a decision.4 möglich ist nachzuvollziehen, wie das System zu einer occurrences such as rain on images or noises in the beispielsweise durch Regen auf Bildern oder durch Rau-
Entscheidung kommt. 4
background of audio recordings.5 schen und andere Geräusche im Hintergrund von Audio-
aufnahmen entstehen.5
4 Gomez-Villa, Alexander, et al. "Convolutional neural networks can be 2. Adversarial attack: Adversarial attacks are attacks
deceived by visual illusions." Proceedings of the IEEE Conference on that are carried out using data deliberately created 2. Adversarial Attack: Als Adversarial Attack bezeichnet
1
Computer Vision and Pattern Recognition. 2019. 1 1 1 with the aim of disrupting an AI model. In order man Angriffe, die mithilfe von bewusst erstellten Daten
to generate these purposefully produced inputs, durchgeführt werden, mit dem Ziel ein KI-Modell zu stören.
0 0 1 0 the attacker trains their own AI model (so-called Um diese gezielt hergestellten Eingaben zu generieren,
0
adversarial model) to modify inputs in such a way trainieren Angreifende das eigene KI-Modell (sog.
1 1 0 0 that they are as difficult as possible for the original Adversarial Model) darauf, Eingaben so zu modifizieren,
1 Output model to process. In most cases, the changes are dass sie möglichst schwer für das ursprüngliche Modell
"Dog"
1 1 1 1 not recognizable for a human being, while for the zu verarbeiten sind. Meist sind die Änderungen für einen
0 machine the input changes completely.6 Menschen nicht erkennbar, während sich für die Maschine
Input 1 1 0 0 der Input komplett ändert.6
Image For an AI-based system to be robust, the results of
broken
1 1 1 1 the system should be influenced as little as possible Damit ein KI-basiertes System robust ist, sollten die
into pixels
by both natural perturbations and adversarial attacks. Ergebnisse des Systems so wenig wie möglich durch
Layer 1 Layer 2 Layer 3 Layer 4 Layer 5 beide Arten von Grenzfällen beeinflusst werden.
Pixel Edges Combinations Features Combinations
values identified of edges identified of features
5 Ozdag, Mesut, et al. On the Susceptibility of Deep Neural Networks to
detected identified identified
Natural Perturbations. Oak Ridge National Lab. (ORNL), Oak Ridge, TN
(United States). 2019.
5 Ozdag, Mesut, et al. On the Susceptibility of Deep Neural Networks to Figure: Prof. Dr. Ing. Marco Huber, Frauenhofer IPA
Natural Perturbations. Oak Ridge National Lab. (ORNL), Oak Ridge, TN
4 Gomez-Villa, Alexander, et al. "Convolutional neural networks can be Figure: https://www.quantamagazine.org/machine-learning-confronts- 6 Goodfellow,
(United States).Ian J., Jonathon Shlens, and Christian Szegedy.
2019. 6 Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy.
deceived by visual illusions." Proceedings of the IEEE Conference on the-elephant-in-the-room-20180920 "Explaining and harnessing adversarial examples." arXiv preprint "Explaining and harnessing adversarial examples." arXiv preprint
Computer Vision and Pattern Recognition. 2019. arXiv:1412.6572. 2014. arXiv:1412.6572. 2014.
14 15Whether it is more important to react to natural in- Ob es wichtiger ist, auf natürliche Einflüsse oder ziel- metrics can be used to technically analyze how Herkunft einer Person indirekt einen starken Einfluss auf
fluences or targeted attacks depends strongly on the gerichtete Angriffe zu reagieren, hängt dabei stark vom ethically relevant attributes are represented in die Entscheidung eines datenbasierten KI-Modells hat,
environment and the respective application. Einsatzumfeld und dem jeweiligen Anwendungsfall ab. the data.8 obwohl die Herkunft nie explizit in den Trainingsdaten ent-
halten war. Um Diskriminierung dieser Art auszuschließen,
2.1.3. BIAS AND AI MODELS (BIAS) 2.1.3. VOREINGENOMMENHEIT UND KI-MODELLE In addition to the analysis of the training data, the können Fairness-Metriken genutzt werden, die technisch
(BIAS) patterns describing why the AI model chooses a analysieren, wie ethisch-relevante Attribute in den Daten
In contrast to classical development methods, the particular outcome should also be analyzed. Here it vertreten sind.8
result of an AI system is not explicitly defined by Im Gegensatz zu klassischen Entwicklungsmethoden is important to check whether the decision-making
specific rules. Instead, the system is trained with wird das Ergebnis eines KI-Systems nicht explizit anhand process is justifiable from an ethical point of view and Zusätzlich zu der Analyse der Trainingsdaten sollten auch
the help of optimization algorithms in such a way bestimmter Regeln festgeschrieben. Stattdessen wird das fulfils basic moral principles. A variety of methods die Muster analysiert werden, die beschreiben, weshalb
that regularities within a database are mapped. AI System mithilfe von Optimierungsalgorithmen so trainiert, can be used to investigate this. The options range das KI-Modell sich für ein bestimmtes Ergebnis ent-
systems therefore do not automatically map reality, dass Gesetzmäßigkeiten innerhalb einer Datenbasis abge- from traditional sensitivity analyses, which examine scheidet. Hier gilt es zu überprüfen, ob die Entscheidungs-
but only model based on a given database. Whether bildet werden. KI-Systeme bilden also nicht automatisch what effect a certain change in an attribute has on findung unter ethischen Gesichtspunkten vertretbar ist
an AI decision is actually based on reality, or whether die Wirklichkeit ab, sondern modellieren lediglich anhand the model‘s decision 9, to more modern approaches und die moralischen Grundprinzipien erfüllt. Um dies zu
it follows an incorrect or distorted representation einer vorgegebenen Datengrundlage. Ob eine KI-Ent- such as SHAP-Values-Analysis, a game theory untersuchen, kann eine Vielzahl an Methoden genutzt
Chapter 02
Kapitel 02
of reality, depends heavily on the data used to train scheidung dabei tatsächlich in der Wirklichkeit begründet method that evaluates the importance of attributes.10 werden. Die Optionen reichen von herkömmlichen Sensiti-
the model. Discriminatory or prejudicial AI models, ist oder einer falschen oder verzerrten Darstellung der vitätsanalysen, die untersuchen, welche Auswirkung eine
which have been repeatedly discussed, are therefore Wirklichkeit folgt, hängt stark von der Datengrundlage ab, Through the interaction of a truly representative bestimmte Änderung eines Attributs auf die Entscheidung
by no means caused by the AI models themselves. die für das Training des Modells genutzt wird. Der Grund database and verified, robust model behavior, des Modells hat 9, bis hin zu moderneren Ansätzen wie die
However, widespread social bias often influences the für diskriminierende oder vorverurteilende KI-Modelle, die prejudice and discrimination by AI systems can be SHAP-Values-Analyse, welche die Wichtigkeit der Attribute
data collection in samples or the interpretation; this immer wieder thematisiert werden, liegt also keinesfalls prevented in the long term. über eine Methode aus der Spieltheorie bewertet.10
leads to biased datasets. The bias implicit in the data in den KI-Modellen selbst. Gesellschaftlich verbreitete
is thus reproduced by AI models.7 Voreingenommenheit beeinflusst aber oft die Datenerhe- 2.1.4. DEFINING ROBUST AI Durch das Zusammenspiel einer tatsächlich repräsenta-
bung bei Stichproben oder die Interpretation und führt so tiven Datenbasis und einem verifizierten, robusten Modell-
To reduce bias in AI models, training data should be zu einer vorbelasteten Datengrundlage. Die implizit in den In computer science, systems are described as verhalten können Vorverurteilung und Diskriminierung
thoroughly checked for possible distortions so that Daten enthaltene Voreingenommenheit wird also nur durch "robust" if they function fault-tolerantly despite durch KI-Systeme nachhaltig verhindert werden.
these can be eliminated before the training process. die KI-Modelle reproduziert. 7
adverse conditions. While this superordinate term
Importantly, bias is often implicit in the data. In often refers to the prevention of system crashes 2.1.4. DEFINITION „ROBUSTE KI“
many cases, it is not enough to remove ethically Trainingsdaten sollten daher unbedingt gründlich auf and thus to the failure rate, robust AI considers the
questionable attributes such as ethnicity or religious mögliche Verzerrungen überprüft werden, damit diese vor process of decision-making. Traditional IT security In der Informatik werden Systeme als „robust“ bezeichnet,
affiliation, as these can often be reconstructed using dem Trainingsprozess behoben werden können. Wichtig topics such as system availability are only dealt die trotz widriger Bedingungen fehlertolerant funktio-
a combination of other, initially harmless attributes ist, dass Voreingenommenheit oft implizit in den Daten with peripherally. nieren. Während bei diesem übergeordneten Begriff oft
such as age, place of residence and creditworthiness. enthalten ist. Es reicht nicht, ethisch fragwürdige Attribute
For example, it is possible that a person’s national wie beispielsweise Ethnie oder Religionszugehörigkeit 8 Hajian, Sara, Francesco Bonchi, and Carlos Castillo. "Algorithmic bias:
origin indirectly has a strong influence on the zu entfernen, da diese oft über eine Kombination von From discrimination discovery to fairness-aware data mining." Procee-
dings of the 22nd ACM SIGKDD international conference on knowledge
decision of a data-based AI model, even though the anderen, zunächst harmlos scheinenden Attributen wie discovery and data mining. 2016.
origin was never explicitly included in the training Alter, Wohnort und Kreditwürdigkeit wieder rekonstruiert 8 Hajian, Sara, Francesco Bonchi, and Carlos Castillo. "Algorithmic bias: 10 Antwarg, Liat, Bracha Shapira, and Lior Rokach. "Explaining
From discrimination discovery to fairness-aware data mining." Procee- anomalies detected by autoencoders using SHAP." arXiv preprint
data. To exclude discrimination of this kind, fairness werden können. So ist es beispielsweise möglich, dass die 9 Féraud, Raphael, and Fabrice Clérot. "A methodology to explain neural
dings of the 22nd ACM SIGKDD international conference on knowledge arXiv:1903.02407. 2019.
network classification." Neural networks pp. 237-246. 15.2.2002.
discovery and data mining. 2016.
7 Du, Mengnan, et al. "Fairness in deep learning: A computational 10 Féraud,
9 Antwarg, Liat, Bracha
Raphael, Shapira,
and Fabrice and Lior
Clérot. Rokach. "Explaining
"A methodology to explain neural
perspective." IEEE Intelligent Systems. 2020. anomalies
network detected by Neural
classification." autoencoders
networksusing
pp. SHAP." arXiv
237-246. preprint
15.2.2002.
arXiv:1903.02407. 2019.
16 17In general, robust AI can be defined as follows:
A robust AI is an unbiased, AI-based system that
das Verhindern von Systemabstürzen gemeint ist und
sich damit auf die Ausfallrate bezieht, betrachtet robuste
2.2. WHY IS IT 2.2. WARUM IST ES
makes technically sound decisions that are not
biased and whose decision-making process is not
KI den Prozess der Entscheidungsfindung. Dabei werden
herkömmliche IT-Sicherheitsthemen wie Verfügbarkeit des
IMPORTANT TO US UNS WICHTIG,
significantly influenced by natural perturbations
or adversarial attacks. The decisions of a robust AI
Systems nur peripher behandelt. THAT OUR AI DASS UNSERE
system reflect reality and are based on data that is as Im Allgemeinen kann robuste KI wie folgt definiert werden: SOLUTIONS KI-LÖSUNGEN
free of bias as possible.11 Eine robuste KI ist ein unvoreingenommenes, KI-basiertes
System, das technisch nachvollziehbare Entscheidungen ARE ROBUST? ROBUST SIND?
Robust AI is divided into three sub-domains and trifft, die nicht durch Voreingenommenheit belastet sind
depends mainly on three factors: (1) the robustness und dessen Entscheidungsfindungsprozess durch Natural AI-based systems are known to provide accurate KI-basierte Systeme sind dafür bekannt – besonders,
of the (business) process in which the system is Perturbations oder Adversarial Attacks nicht signifikant and high-quality predictions, especially if a good wenn eine gute Datenbasis vorhanden ist – akkurate
integrated, (2) the structure and type of the AI model beeinflusst wird. Die Entscheidungen eines robusten KI- database is available. However, the more complex und qualitativ sehr hochwertige Vorhersagen zu treffen.
used, and (3) the database that is the basis for Systems spiegeln die Wirklichkeit wider und basieren auf the data models an AI represents, the more difficult Doch je komplexer die Datenmodelle werden, die eine
training the model. einer möglichst verzerrungsfreien Datengrundlage. 11
it becomes to understand why the system chooses KI abbildet, desto schwieriger wird es zu verstehen, aus
Chapter 02
Kapitel 02
a certain outcome and whether the decision is welchem Grund sich das System für ein bestimmtes
Robuste KI teilt sich in drei Unterdomänen auf und ist actually justified. Therefore, robust AI is a necessary Ergebnis entscheidet und ob die Entscheidung tatsächlich
maßgeblich von drei Faktoren abhängig: prerequisite for a trustworthy AI. This is especially gerechtfertigt ist. Deswegen ist robuste KI eine notwen-
(1) der Robustheit des (Geschäfts-) Prozesses, in den das necessary given that AI technology will increasingly dige Voraussetzung für eine vertrauenswürdige KI. Gerade
System eingebunden ist, (2) dem Aufbau und der Art des be used for decisions with high risk potential; it im Hinblick darauf, dass KI-Technologie zunehmend auch
genutzten KI-Modells sowie (3) der Datenbasis, welche die must be possible to understand how a decision is für Entscheidungen mit hohem Risikopotenzial eingesetzt
Grundlage für das Training des Modells ist. made. It is particularly important to check whether werden wird, muss es möglich sein, nachzuvollziehen, wie
a decision is resilient or whether it is based on a eine Entscheidung zustande kommt. Dabei ist es insbeson-
11 Mirman, Matthew, Timon Gehr, and Martin Vechev. "Differentiable
abstract interpretation for provably robust neural networks." Internatio-
misunderstanding of artificial intelligence in order to dere wichtig zu prüfen, ob eine Entscheidung belastbar
nal Conference on Machine Learning. 2018. meet our responsibility for fair and ethical action. ist oder ob sie auf einem Missverständnis der künstlichen
Intelligenz beruht, um unserer Verantwortung für faires
Process AI Model Data The Robust AI Assessment for AI is part of the overall und ethisches Handeln gerecht zu werden.
efforts of DT to combine the latest technologies
Pre-processing Model Type Bias
with ethical standards. The project is part of the Das Robust AI Assessment für KI ist Teil der übergreifenden
Robust AI program, which focuses on analyzing Bestrebungen der Deutschen Telekom AG (DTAG), neueste
and evaluating the robustness of AI models. In a Technologien mit ethischen Ansprüchen zu verbinden.
Post-processing Model Architecture Amount cooperation with experts from Ben-Gurion University Das Projekt ist ein Teil des Robust-AI-Programms, das
in Israel and the German start-up Neurocat, which sich insgesamt darauf fokussiert, die Robustheit von
specializes in robust AI, the AI experts at Telekom KI-Modellen zu analysieren und zu bewerten. In einer
Plausibility Check Model Evaluation Trends Innovation Laboratories are engaged in measuring Kooperation mit der Ben-Gurion-Universität in Israel und
and technically analyzing the robustness of internal dem deutschen Start-Up Neurocat, das sich auf robuste
and external AI-based products and services of DTAG KI spezialisiert hat, beschäftigen sich die KI-Expertinnen
and thus identifying potential for improvement. The und -Experten der Telekom Innovation Laboratories damit,
goal of ethical technology development occupies die Robustheit von internen und externen KI-basierten
11 Mirman, Matthew, Timon Gehr, and Martin Vechev. "Differentiable
DT along the entire value chain. Companies that Produkten und Dienstleistungen der DTAG zu messen,
abstract interpretation for provably robust neural networks." Internatio-
nal Conference on Machine Learning. 2018. significantly shape the future of society through the technisch zu analysieren und so Verbesserungspotenziale
18 19development of new, disruptive technologies and zu identifizieren. Das Ziel ethischer Technologieentwick- conditions from a data set. Increasing the robustness Bedingungen aus einer Datengrundlage abzuleiten und
offerings bear an immense responsibility. In order lung beschäftigt die Deutsche Telekom über die gesamte of an AI system means extending the range in which zu lernen. Wenn man die Robustheit eines KI-Systems
to live up to this responsibility, DT has developed Wertschöpfungskette hinweg. Unternehmen, die durch die the model can make plausible decisions. In extreme steigert, bedeutet dies, den Bereich zu erweitern, in dem
its own "Digital Ethics" guidelines that address the Entwicklung neuer, disruptiver Technologien und Angebote cases, the AI system changes from an expert to a das Modell plausible Entscheidungen treffen kann. Im
responsible and ethical use of artificial intelligence die Zukunft der Gesellschaft maßgeblich prägen, tragen generalist and thus loses the ability to solve the Extremfall wandelt sich das KI-System dabei vom Experten
and establish self-imposed rules. The detailed version eine immense Verantwortung. Um dieser Verantwortung complex, special task for which it was trained. Since zum Generalisten und verliert damit die Fähigkeit, die
of these guidelines can be found on the Group website. gerecht zu werden, hat die Deutsche Telekom eigene the complexity of the model is generally limited, komplexe, spezielle Aufgabe zu lösen, für die es trainiert
„Digital Ethics“ Leitlinien entwickelt, die den verantwor- for example, by the computing power required for wurde. Da die Komplexität des Modells generell beispiels-
The Robust AI Assessment, which DT wants to use tungsvollen und ethischen Umgang mit künstlicher training and the amount of data available, decisions weise durch die benötigte Rechenleistung für das Training
to integrate ethical aspects into the development Intelligenz thematisieren und selbstverpflichtende Regeln can no longer be made with the same nuance as by a und die verfügbare Datenmenge begrenzt ist, können die
process of new AI systems, therefore fits seamlessly aufstellen. Die ausführliche Version dieser Leitlinien ist auf pure expert system.12 Entscheidungen nicht mehr so nuanciert getroffen werden,
into a series of approaches that promote a future in der Konzernwebseite zu finden. wie es ein reines Expertensystem könnte.12
which companies meet their social responsibility in In general, the robustness of an AI system is
the digital age. Das Robust AI Assessment, das die Deutsche Telekom increased by means of use case-specific measures Allgemein wird die Robustheit eines KI-Systems mithilfe
dafür nutzen möchte, um ethische Aspekte in den Entwick- that are often a tradeoff between model robustness, von gezielt angewendeten Maßnahmen gesteigert. Das
Chapter 02
Kapitel 02
lungsprozess neuer KI-Systeme einzubinden, fügt sich also predictive performance and training effort. The Entwickeln von weiteren Maßnahmen zur Steigerung der
nahtlos in eine Reihe von Ansätzen ein, die eine Zukunft development of further measures to increase the Robustheit verursacht einen hohen Aufwand, der aber
fördern, in der Unternehmen ihrer gesellschaftlichen Ver- robustness causes a high level of effort, but does keinen Mehrwert schafft. Mehr Maßnahmen als nötig
antwortung im digitalen Zeitalter gerecht werden. not create any added value. More measures than machen das Modell nicht robuster, sondern können sogar
necessary do not make the model more robust but zu schlechteren Entscheidungen führen.13
may even lead to worse decisions.13
2.3. HOW ROBUST 2.3. WIE ROBUST KI-Modelle sollten deswegen im besten Fall etwas robuster
AI models should therefore be, at best, somewhat sein als ihr Einsatzzweck erfordert, um eventuelle Fehl-
SHOULD AI SOLLTEN more robust than their intended use requires in einschätzungen bei der Beurteilung auszugleichen. Es ist
order to compensate for possible misjudgments in aber nicht empfehlenswert, die Robustheit eines solchen
SOLUTIONS BE? KI-LÖSUNGEN SEIN? the assessment. However, it is not recommended Systems in großem Maße über die Anforderungen hinaus
to increase the robustness of such a system beyond zu steigern, da dabei tendenziell die Performance des
In general, the more robust an AI-based system Generell gilt: Je robuster ein KI-basiertes System ist, desto what is necessary, as the performance of the AI KI-Modells nachlässt, obwohl der Entwicklungs-
is, the better. But is there a point where increasing besser. Doch gibt es einen Punkt, an dem die Steigerung model tends to deteriorate while the development aufwand steigt.
robustness is no longer helpful, maybe even der Robustheit nicht mehr weiterhilft, vielleicht sogar effort increases.
counterproductive? kontraproduktiv ist?
How robust a system should actually be depends Wie robust ein System tatsächlich sein sollte, ist stark
heavily on the application. An intelligent vending vom Anwendungsfall abhängig. Ein intelligenter Getränke-
machine naturally has different requirements than automat hat natürlich andere Anforderungen als ein KI- 12 Valiant, Leslie G. "Knowledge infusion: In pursuit of robustness in
an AI system of a critical infrastructure system. AI System einer kritischen Infrastruktur. KI-Modelle werden artificial intelligence." IARCS Annual Conference on Foundations of Soft-
ware Technology and Theoretical Computer Science. Schloss Dagstuhl-
models are often used as expert systems that are oft als Systeme eingesetzt, die darauf spezialisiert sind, Leibniz-Zentrum für Informatik. 2008.
specialized to perform a certain complex task in a eine bestimmte komplexe Aufgabe in einem eng defi-
narrowly defined application area. nierten Anwendungsbereich zu erledigen. 12
13 Valiant, Leslie
Anderson, G. "Knowledge
Greg, infusion:
et al. "Optimization In abstraction:
and pursuit of robustness in
A synergistic 13 Anderson, Greg, et al. "Optimization and abstraction: A synergistic
artificial
approachintelligence."
for analyzingIARCS
neuralAnnual Conference
network on Proceedings
robustness." Foundations of Soft-
the approach for analyzing neural network robustness." Proceedings of the
The underlying data models are very good at deriving Die zugrundeliegenden Datenmodelle sind sehr gut
ware
40th Technology
ACM SIGPLAN andConference
Theoreticalon
Computer Science.
Programming SchlossDesign
Language Dagstuhl-
and 40th ACM SIGPLAN Conference on Programming Language Design and
and learning specific regularities under certain darin, spezifische Gesetzmäßigkeiten unter bestimmten Leibniz-Zentrum
Implementation. für Informatik. 2008.
2019. Implementation. 2019.
20 21Robustness Robustness
Self-Assessment Self-Assessment
3.1. WHY DO WE USE 3.1. WARUM
A SELF-ASSESSMENT NUTZEN WIR EIN
FRAMEWORK? SELF-ASSESSMENT
Within DT there are currently a large number of active FRAMEWORK?
projects and systems that are developing and/or using
3
artificial intelligence. The number of departments Innerhalb der Deutschen Telekom AG gibt es aktuell eine
involved in AI development is constantly increasing. Vielzahl an aktiven Projekten und Systemen, die künst-
The goal must be to give technical project managers, liche Intelligenz entwickeln und/oder einsetzen. Die Anzahl
as well as AI experts and data scientists, an overview der Abteilungen, die an der KI-Entwicklung beteiligt sind,
of which robustness the use case requires and steigt ständig. Ziel muss es sein, sowohl technischen
whether the measures currently planned or developed Projektleitungen als auch KI-Expertinnen und -Experten
are sufficient. This should be done as early as possible sowie Data Scientists frühzeitig im Entwicklungsprozess
Kapitel 03
in the development phase of a new AI project. eines neuen KI-Projektes einen Überblick zu geben, welche
Robustheit der Anwendungsfall erfordert und ob die
The earlier the topic of robustness is considered, the Maßnahmen, die aktuell geplant oder entwickelt werden,
better the measures can be adapted to the respective ausreichend sind.
application. In contrast to conventional processes, in
which measures are often identified and developed Je früher innerhalb der Entwicklung eines neuen KI-
at a late stage, this "Robustness by Design" approach basierten Tools das Thema Robustheit betrachtet wird,
creates systems that are inherently robust and cannot desto besser können die Maßnahmen auf den jeweiligen
be implemented only by means of applied measures.14 Anwendungsfall abgestimmt werden. Anders als in
herkömmlichen Prozessen, bei denen Maßnahmen oft erst
To ensure that our AI-based products are not spät identifiziert und entwickelt werden, entstehen durch
vulnerable to attacks and other variations in input dieses „Robustness by Design“ Systeme, die inhärent
data, we also use technical analysis that a new AI- robust sind und nicht erst durch aufgesetzte Maßnahmen
based application must pass before it can be used. einsetzbar werden.14
As previously mentioned, the Robust AI program is
currently developing and improving technical analysis Damit wir sicherstellen können, dass unsere KI-basierten
Produkte tatsächlich nicht für Angriffe und andere Abwei-
chungen der Input-Daten anfällig sind, setzen wir zusätz-
lich technische Analysen ein, die eine neue KI-basierte
Anwendung vor dem Einsatz bestehen muss. Wie zuvor
erwähnt, werden derzeit innerhalb des Robust-AI-Pro-
grammes neben dem Self-Assessment-Konzept ebenfalls
14 Valiant, Leslie G. "Knowledge infusion: In pursuit of robustness in
artificial intelligence." IARCS Annual Conference on Foundations of Soft-
ware Technology and Theoretical Computer Science. Schloss Dagstuhl-
Leibniz-Zentrum für Informatik. 2008.
23options in addition to the self-assessment concept. technische Analysemöglichkeiten weiterentwickelt und The self-assessment framework is comprised of Insgesamt umfasst das Self-Assessment Framework 35
Ideally, the technical analysis is mainly used to verify verbessert. Im Idealfall wird die technische Analyse haupt- 35 weighted questions. Approximately one third gewichtete Fragen. Ungefähr ein Drittel davon zählen zum
the proper implementation and functionality of the sächlich dafür genutzt, die ordnungsgemäße Umsetzung of these belong to the first part and relate to the ersten Teil und beziehen sich auf die möglichen Aus-
selected measures, as well as to automatically und Funktionalität der gewählten Maßnahmen zu veri- possible effects of a malfunction of the model wirkungen einer Fehlfunktion des betrachteten Modells,
test new releases. fizieren sowie neue Releases automatisiert zu prüfen. under consideration, the probability of an attack die Wahrscheinlichkeit eines Angriffes oder die Gefahr
or the danger of unexpected input. The analysis of einer unerwarteten Eingabe. Die Analyse des Ist-Zustands
the actual state consists of 24 questions, which are besteht aus 24 Fragen, die anhand der Domänen robuster
3.2. HOW IS THE 3.2. WIE IST DAS divided into sub-sections based on the domains of KI in Teilbereiche aufgeteilt sind:
robust AI: (1) robust process, (2) robust AI model, and (1) robuster Prozess, (2) robustes KI-Modell und (3) robuste
SELF-ASSESSMENT SELF-ASSESSMENT- (3) robust data basis. Datengrundlage.
CONCEPT KONZEPT
3.3. WEIGHTING OF 3.3. GEWICHTUNG
STRUCTURED? STRUKTURIERT?
THE QUESTIONS DER FRAGEN
Chapter 03
Kapitel 03
The self-assessment concept is based on the Das Self-Assessment-Konzept basiert auf dem Prinzip
principle of a gap analysis. The first part considers einer Gap-Analyse. Der erste Teil befasst sich mit den Since each question has an distinctly different Da jede Frage einen individuell unterschiedlichen Ein-
the robustness requirements that are directly related Robustheitsanforderungen, die unmittelbar durch den influence on the robustness of an AI solution, a fluss auf die Robustheit einer KI-Lösung hat, wird
to the use case and thus representative of the target Anwendungsfall bedingt sind und bildet damit die Soll- weighting system is used to put the questions ein Gewichtungssystem genutzt, um die Fragen ins
specification. The second part assists in developing Vorgabe ab. Der zweite Teil behandelt die geplanten into relation. All questions in each category were Verhältnis zu setzen. Dabei wurden zuerst alle Fragen
the planned or implemented measures and thus bzw. umgesetzten Maßnahmen und steht somit für den weighted and then evaluated using the "paired der einzelnen Kategorien gewichtet und anschließend
represents the actual state. The analysis values of Ist-Zustand. Die Analysewerte beider Teile können dann comparisons" method. The "paired comparisons" anhand der „Paired-Comparison-Methode“ bewertet.
both parts can then be compared in order to identify gegenübergestellt werden, um Differenzen zwischen Soll- method compared questions in pairs and assigns Diese Methode vergleicht Fragenpaare miteinander,
differences between target and actual state. und Ist-Zustand zu identifizieren. these a factor that describes the relative value die dadurch einen Faktor erhalten, der den relativen
between the questions ("A good answer to question Wert zwischen den Fragen beschreibt („Eine gute
1 is worth twice as much as a good answer to Antwort auf Frage 1 ist doppelt so viel wert wie eine gute
question 2"). In the first step, no attention was paid Antwort auf Frage 2.“). Im ersten Schritt wurde explizit
Self-Assessment Tool
to keeping all ratings consistent across multiple nicht darauf geachtet, alle Bewertungen über mehrere
Addressed Addressed Outcome Technical question pairs, as this promotes the most accurate Fragenpaare konsistent zu halten, da so eine möglichst
user group solutions Assessment assessment possible. In the second step, all conflicts genaue Einschätzung gefördert wird. Im zweiten Schritt
Process
were then listed and resolved one after the other by wurden dann alle Konflikte aufgeführt und nacheinander
POC Required and adjusting the ratings. The resulting weightings were durch das Anpassen der Bewertungen aufgelöst. Die
actual level of
Detailed concept
Use Case Details AI Model rebustness critically reviewed in expert and user interviews and dabei entstandenen Gewichtungen wurden in Interviews
Data Implemented solution
(early stage) Shaping AI were slightly adjusted for the final version of the mit Expertinnen und Experten sowie Nutzerinnen und
Scientist
Robustness aidkit Framework.
Product awareness assessment. To ensure that the Robustness Score Nutzern kritisch hinterfragt und für die finale Version des
Implemented solution Testing against
Owner adversarial at- result values are within the desired value range, the Assessments leicht angepasst. Damit die Robustness-
Implemented multiple
technical robustness
Data Recommen- tacks and natural
measures dation perturbations. resulting weights were uniformly scaled. Score-Ergebniswerte im gewünschten Wertebereich
liegen, wurden die entstandenen Gewichte uniform
First Step. Second Step.
skaliert.
Assessing the Assessing the
1 required level of
2 actual level of
robustness. robustness.
24 253.4. WHAT VALUES 3.4. WIE SETZEN SICH chance. Current methods for training AI models have
usually been developed to find the simplest, most
simpelsten, am stärksten ausgeprägten Muster in Daten-
sätzen finden. Das sind meistens nicht die robustesten
DOES THE ROBUST DIE ERGEBNISWERTE pronounced patterns in data sets. These are usually
not the most robust patterns. In addition, finding
Muster. Hinzu kommt, dass für das Finden robuster Muster
im Normalfall mehr Daten und eine längere Entwicklungs-
AI ASSESSMENT ZUSAMMEN? more robust patterns usually requires more data and
a longer development phase to adapt the model to
phase benötigt wird, um das Modell auf die Daten-
gegebenheiten einzustellen.
PROVIDE? the data conditions.
Das Ergebnis des Robust AI Assessments besteht aus Analog zu der Gewichtung der Fragen wurde auch den
zwei Werten: (1) dem Required Robustness Score und (2) Analogous to the weighting of the questions, a factor Antwortmöglichkeiten der Fragen jeweils ein Faktor
The results of the Robust AI Assessment consist of dem Actual Robustness Score. Diese beiden Werte, welche between -1 and +2 was assigned to the possible zwischen -1 und +2 zugewiesen, der während des Assess-
two values: (1) the Required Robustness Score and (2) die benötigte Robustheit und die umgesetzte Robustheit answers of the questions, which is represented during ments durch eines der folgenden Symbole dargestellt
the Actual Robustness Score. These two values, which ausdrücken, können direkt gegenübergestellt werden. So the assessment by one of the following symbols: -, wird: -, o, +, ++. Dieser Faktor wird mit der Gewichtung der
express the required robustness and the implemented können mögliche Gaps auf einen Blick erkannt werden. o, +, ++. This factor is multiplied by the weighting of jeweiligen Frage multipliziert und fließt so gewichtet in
robustness, can be directly compared. As a result, the respective question and thus flows weighted into das Gesamtergebnis ein. Für die Einschätzung der benö-
possible gaps can be detected at a glance. Die Wertung des Robust AI Assessments basiert auf einem the overall result. For the assessment of the required tigten Robustheit erhalten Antworten, die auf eine hohe
Chapter 03
Kapitel 03
additiven Konzept. Dies bedeutet, dass der Basis-Score robustness, answers that indicate a high required benötigte Robustheit hinweisen einen hohen Faktor. Bei
The evaluation of the Robust AI Assessment is based bei Null beginnt und durch jede valide Maßnahme leicht robustness receive a high factor. For the assessment der Einschätzung der umgesetzten Maßnahmen erhalten
on an additive concept. This means that the basic gesteigert werden kann. Die Auswahl dieses Scoring of the implemented measures, answers that indicate Antworten, die auf die Umsetzung valider Maßnahmen
score starts at zero and can be easily increased by Systems, das in jeder Kategorie einen Wert von 0-5 the implementation of valid measures also receive a hindeuten ebenfalls einen hohen Faktor.
any valid measure. The selection of this scoring vergibt, basiert auf der Annahme, dass Modelle, die nicht high factor.
system, which gives a value of 0-5 in each category, darauf trainiert wurden, robust zu handeln, nicht zufällig Um die beiden Ergebniswerte – den Required Robustness
is based on the assumption that models that are robust werden. Aktuelle Methoden, um KI-Modelle zu To obtain the two result values − the Required Score und den Actual Robustness Score – zwischen 0 und
not trained to act robustly do not become robust by trainieren, wurden meist so entwickelt, dass sie die Robustness Score and the Actual Robustness Score − 5 zu erhalten, werden alle Fragenergebnisse unter der
between 0 and 5, all question results are summed up jeweiligen Kategorie aufsummiert.
under the respective category.
EVALUATION EXAMPLE
Actual Level Process AI-Model Data Delta
Required Level Required Robustness
Robustness 0 1 2 3 4 5
Scoring
11 questions for required level and 24 questions
for actual level were answered
26 27Content of the Inhalt des
Assessment Assessments
4.1. REQUIRED 4.1. REQUIRED
ROBUSTNESS ROBUSTNESS
The goal of the first part of the assessment is to Das Ziel des ersten Teilbereiches des Assessments ist
estimate how robust a solution should be for the die Einschätzung, wie robust eine Lösung für den gege-
given application. For this purpose, we used an benen Anwendungsfall sein soll. Hierfür wird ein Ansatz
approach based on the procedure of a risk analysis. verwendet, der an das Verfahren einer Risikoanalyse
4
Here, factors that estimate the effects of wrong angelehnt ist. Betrachtet werden dafür Faktoren, die
decisions of the AI system and factors that show Auswirkungen von Fehlentscheidungen des KI-Systems
a probability of wrong decisions are considered. einschätzen und Faktoren, die eine Wahrscheinlichkeit von
Both factors flow into the Required Robustness Fehlentscheidungen aufzeigen. Beide Faktoren fließen
Score in approximately equal proportions through über die Auswahl und Gewichtung der Fragen zu ungefähr
the selection and weighting of the questions. In the gleichen Anteilen in den Required Robustness Score ein.
subsequent section, the weighting of the questions Im Folgenden werden die Gewichtung der Fragen und die
Kapitel 04
and the respective answer options are explained jeweiligen Antwortmöglichkeiten im Detail begründet.
in detail.
Ein hoher Wert in der Kategorie „Required Robustness“
A high value in the category "Required Robustness" lässt darauf schließen, dass der Anwendungsfall ein hohes
indicates that the application requires a high degree Maß an Robustheit erfordert.
of robustness.
Designated
contact person
Personal data
Worst-case-scenario
Data trends
False positives &
false negatives
The domains
of the AI model Target development status
Required Robustness
Field of application / branch
Public availability
of the AI model
User group
Feedback to
potential attackers
29Sie können auch lesen
