Umgang mit Sicherheitsrisiken industrieller Anwendungen durch mangelnde Erklärbarkeit von KI-Ergebnissen - ERGEBNISPAPIER
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
ERGEBNISPAPIER Umgang mit Sicherheitsrisiken industrieller Anwendungen durch mangelnde Erklärbar- keit von KI-Ergebnissen
Impressum Herausgeber Bundesministerium für Wirtschaft und Energie (BMWi) Öffentlichkeitsarbeit 11019 Berlin www.bmwi.de Redaktionelle Verantwortung Plattform Industrie 4.0 Bertolt-Brecht-Platz 3 10117 Berlin Gestaltung PRpetuum GmbH, 80801 München Stand September 2019 Druck BMWi Bildnachweis gettyimages Degui Adil / EyeEm / S. 13 MEHAU KULYK/SCIENCE PHOTO LIBRARY / S. 15 Photographer is my life. / S. 4 seksan Mongkhonkhamsao / S. 8 Suebsiri Srithanyarat / EyeEm / S. 22 oxygen / S. 14 Yuichiro Chino / Titel, S. 10, S. 17 Diese und weitere Broschüren erhalten Sie bei: Bundesministerium für Wirtschaft und Energie Referat Öffentlichkeitsarbeit E-Mail: publikationen@bundesregierung.de www.bmwi.de Zentraler Bestellservice: Telefon: 030 182722721 Bestellfax: 030 18102722721 Diese Publikation wird vom Bundesministerium für Wirtschaft und Energie im Rahmen der Öffentlichkeitsarbeit herausgegeben. Die Publikation wird kostenlos abgegeben und ist nicht zum Verkauf bestimmt. Sie darf weder von Parteien noch von Wahlwerbern oder Wahlhelfern während eines Wahlkampfes zum Zwecke der Wahl werbung verwendet werden. Dies gilt für Bundestags-, Landtags- und Kommunalwahlen sowie für Wahlen zum Europäischen Parlament.
2
Inhalt
1. Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3
2. Entwurf, Training und vortrainierte Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
2.1 KI-Anwendungen zum Schutz der Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Über Security-Angriffe gegen AI-Anwendungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3. Erklärbarkeit von KI-Entscheidungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.1 Notwendigkeit von Erklärungen durch menschliche Argumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Komplexität des Erklärungsproblems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.3 Forschungsansätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.4 Vorhandene Techniken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.5 Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4. Angriffsvektoren auf KI bzw. mittels KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5. Sicherheitsrisiken bedingt durch Architekturen und Anwendungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
5.1 Sicherheitsrisiken beim Einsatz von KI-Systemen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.1.1 Folgerisiken: Produktionsausfälle und entsprechende Zusatzkosten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
5.1.2 Sicherheitsrisiken beim Einsatz statischer KI-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
5.1.3 Sicherheitsrisiken beim Einsatz dynamischer KI-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2 Sicherheitsmaßnahmen beim Einsatz von KI/Sicherheitsmaßnahmen durch KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
6. Abschließende Bemerkungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
7. Grundbegriffe der KI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28
8. Referenzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Abbildungsverzeichnis
Abbildung 1: Highlevel Phasenmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Abbildung 2: Training und vortrainierte Systeme zur Bilderkennung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Abbildung 3: Vier Quadranten-Darstellung der Freiheitsgrade einer KI-Anwendung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3
1. Einleitung
KI kann in verschiedenen Bereichen industrieller Entwick- schichten als es vom menschlichen Gehirn angenommen
lung, Produktion und Fertigung sinnvoll eingesetzt werden. wird. Dadurch entstehen in zahlreichen Fällen übermensch-
Dazu gehören liche Leistungsmerkmale im Hinblick auf Präzision und
Treffsicherheit der Mustererkennung. Aber andererseits ver
zzKI in der Produktionsplanung, z. B. durch Sequenzieren lieren solche Systeme die Interpretierbarkeit mit mensch
lichem Erklärungsvermögen. Präzision und menschliche
zzKI in der Produktion, z. B. zur Überwachung von Nachvollziehbarkeit von Aussagen eines KI-Systems stehen
Zuständen zunehmend im Widerspruch.
zzKI in der Prozessautomatisierung, z. B. bei der Dieses Dokument richtet sich ausschließlich auf die Diskus-
Steuerung von Robotern sion der Sicherheitsaspekte für Verfahren aus dem Bereich
des Maschinellen Lernens für industrielle Anwendungen.
zzKI in der Qualitätssicherung, z. B. zur optischen In der heutigen Praxis sind dies vorwiegend Algorithmen
Bauteileprüfung des überwachten Lernens (Supervised Learning), in denen
mittels Trainingsdaten eine Approximation erstellt wird,
zzKI in der Logistik, z. B. bei wegeoptimierten Abläufen die in industriellen Prozessen zuverlässige Aussagen (Prä-
diktionen) erzeugen können.
Um KI in der Industrie allerdings sicher und erfolgreich
zum Einsatz zu bringen, sind einige Voraussetzungen zu Grundlegende anwendungsübergreifende Techniken werden
erfüllen. Hierzu zählt: 1. Das Verständnis der Ziele, die KI dabei für das heute dominierende Gebiet der Künstlichen
erreichen oder eben nicht erreichen kann. 2. Die Kenntnis Neuronalen Netze (KNN) in Kapitel 2 in Kurzform erklärt,
der Einflussfaktoren, die den Einsatz von KI-Systemen um Lesern auch ohne ausgeprägte KI-Kenntnis das Verständ-
inhärent begleiten. nis der industriellen Sicherheitsprobleme zu ermöglichen.
Kapitel 3 behandelt das Problem der Erklärbarkeit und gibt
Grundlegende Aspekte zu diesem Themenfeld wurden bereits einen kurzen Überblick der heutigen Technik. Es gibt (noch)
in einem Papier der Plattform Industrie 4.0 unter dem Titel keine einfachen Lösungen. Kapitel 4 beschreibt das derzeit
„Künstliche Intelligenz (KI) in Sicherheitsaspekten der wichtigste Verfahren, das Angreifer missbräuchlich verwen-
Industrie 4.0“ beschrieben und zur Hannover Messe Indus- den, um KI gezielt zu täuschen. Auch hier existieren (noch)
trie 2019 veröffentlicht. Die vorliegende Publikation geht keine Problemlösungen ohne ausgeprägte Expertise von
darüber hinaus, indem sie die Bedeutung von Erklärbarkeit Spezialisten. Anwender müssen die Gefährdung jedoch ver-
der KI für Sicherheitsaspekte darstellt. Es geht dabei vor- stehen, um ihre eigenen Risiken einzuschätzen. Kapitel 5
rangig um die Frage, wie menschliche Betrachter die Ent- gibt umfassende praktische Ratschläge zur Risikominimie-
scheidungen eines KI-Systems verstehen und etwaige ver- rung im Einsatz von KI in der Industrie 4.0. Im Anhang in
borgene Fehler in Architektur, Konfiguration und Training Kapitel 7 sind verwendete Grundbegriffe des Machine Lear-
aufspüren können, um sie zu korrigieren: Was hat das System ning, die im Text verwendet werden, kurz erklärt.
tatsächlich „gelernt“ und welche Einflussfaktoren waren in
diesem Prozess ausschlaggebend? Der Einsatz von Künstlicher Intelligenz kann neue Sicher-
heitsprobleme aufwerfen. Gleichzeitig eignet sich KI in man-
Moderne Systeme Künstlicher Intelligenz (KI) entfernen sich cher Hinsicht auch als Basis neuartiger Waffen, die keines-
in ihrer Funktionsweise immer weiter von den Vorstellungen, wegs nur gegen KI-basierte Systeme eingesetzt werden
die bislang über die Funktion biologischer Gehirne bestan- können, sondern eine insgesamt erweiterte Gefährdungs-
den. Beispielsweise erkennen Künstliche Neuronale Netze lage bewirken. Das vorliegende Papier richtet sich an beide
heute Muster in Bild, Ton, Text oder Video mit einer drama- Seiten und liefert dazu Erklärungen und Hinweise für
tisch höheren Zahl von Verschachtelungen in Neuronen- Betreiber.
4 2. Entwurf, Training und vortrainierte Systeme
2 . E N T W U R F, T R A I N I N G U N D V O RT R A I N I E RT E S Y S T E M E 5
Bereits vor dem Training werden beim Entwurf eines Machine in einen Gesamtzusammenhang des Einsatzes von KI – von
Learning-Systems wesentliche Systemparameter vorausbe- System-Entwurf über Training bis zum realen Einsatz. Dabei
stimmt. Wie bei einem klassischen System muss das Ein- wird auch aufgezeigt, welche äußeren Einflussfaktoren in
und Ausgabeverhalten beschrieben werden, d. h. was sind welcher Phase wichtig sind. Abbildung 2 versucht darauf auf
Eingabeparameter (Syntax, Repräsentation, Normierung) bauend den Trainingsvorgang im Detail bildlich zu erklären.
und welches Ergebnis soll das System liefern. Gegebenen-
falls ist es sinnvoll oder notwendig auf die Eingabedaten Da moderne Systeme, insbesondere Neuronale Netze, sehr
(klassische) Vorverarbeitungsschritte anzuwenden (z. B. Fil- große Zahlen freier Parameter besitzen, muss ein sinnvoller
terung, Diskretisierung). Durch solche vorbereitenden Schritte Trainingsvorgang sich auf sehr große Zahlen von Trainings-
wird die Ergebnisqualität beabsichtigt oder unbeabsichtigt daten stützen, um diese Parameter zu bestimmen. Das
beeinflusst. Ausgehend davon wird ein geeignetes Lernmodell bekannte AlexNet, mit dem 2012 der Siegeszug der CNN
für das ML-System gewählt. Neben Neuronalen Netzen (Convolutional Neural Networks – Faltungsnetze) in der
wurden und werden andere Modelle wie logistische Regres- Bilderkennung begann, hatte rund 65 Millionen Gewichte
sion (Logit-Modelle), Support Vector Machines, Entschei- zur Unterscheidung von 1.000 Kategorien, und es standen
dungsbäume, etc. genutzt. Im Zentrum der gegenwärtigen 1.000.000 Beispiele mit Labels zur Verfügung. Nach üblichen
Entwicklung und dieses Textes stehen Deep Learning Modelle Vorstellungen über Statistik sind das offensichtlich viel zu
mit Künstlichen Neuronalen Netzen. Ein wesentlicher Teil wenige Beispiele. Deshalb sind diverse Techniken entwickelt
des Entwurfs eines Neuronalen Netzes sind seine innere worden, mit denen die Zahl der Beispiele erhöht werden
Struktur, d. h. die Anzahl der inneren Knoten (Neuronen), kann (Data-Augmentation). Beispielsweise kann man Bilder
die Anzahl der Schichten, die Dichte der Vernetzung der um einige Pixel nach oben, unten oder seitwärts verschieben,
Knoten, sowie die verwendete Transferfunktion. Obwohl ohne dass sich der inhaltliche Bezug zum Label ändert. Es
diese Entscheidungen die Leistungsfähigkeit und Robust- entsteht aber schnell die Frage, wo die Grenze für diese Ver-
heit eines ML-Systems beeinflussen, sind sie für den späte- vielfachung liegt und ab wann die Qualität des erworbenen
ren Anwender häufig nicht transparent. So ist beispielsweise Wissens leidet.
über die verwendeten Modelle und Strukturen, auf denen
ML-Funktionen großer Cloud-Service-Anbieter basieren, Die Trainingsdaten werden für jeden Schritt des Gradien-
nur wenig Information verfügbar. tenabstiegs in sogenannten Mini-Batches gebündelt, der
Gradient wird also für den durchschnittlichen Fehler
Von wenigen Ausnahmen abgesehen, benötigen alle Algo- ermittelt und die Zusammensetzung der Batches erfolgt
rithmen des Machine Learning zur Bestimmung ihrer freien zufällig (siehe Abb. 2). Als Epoche wird der Teil des Trai-
Parameter (Gewichte der jeweils eingesetzten Approximation) nings bezeichnet, in dem alle vorhandenen Daten einmal
einen sogenanntes „Training“. Dabei wird ausgehend von verwendet wurden. Danach wird der Vorgang wiederholt
einer zufallsgesteuerten Initialisierung eine große Zahl von und nach jeder Epoche wird mit einem Teil der Daten, die
Fehlerkorrekturen dieser Parameter vorgenommen, bei vorher von den Trainingsdaten abgespalten wurden, eine
denen die beobachtete Abweichung zwischen den „Labels“ Erfolgskontrolle durchgeführt.
(Bezeichnung der Zugehörigkeit zu vorab definierten Klassen)
von Daten mit den durch diese Daten erzeugten Ergebnissen Sobald sich dabei erkennen lässt, dass die ermittelte Genau-
verglichen werden. Dann werden die Gewichte so verändert, igkeit auf diesen Validierungsdaten nicht weiter steigt, wird
dass sich diese Abweichung verringert. Dieser Vorgang wird das Training beendet. Stagnation der Genauigkeit im Vali-
als Backpropagation bezeichnet, weil nach den Regeln der dierungsset ist ein Indikator für beginnendes Overfitting
Differentialrechnung die Ableitung des Fehlers im Ergebnis (siehe Erklärung in der Fachwortsammlung, Kapitel 7) – ab
rückwärts nach den Gewichten durch alle Neuronenschich- jetzt würde weiteres Training die Fähigkeit des Systems zur
ten die Richtung für die Anpassung der Gewichte liefert: Verallgemeinerung der Klassifikation auf unbekannte Daten
Der negative Gradient des Fehlers als Funktion der Gewichte verschlechtern. Eine endgültige Prüfung anhand der eben-
zeigt in die Richtung des steilsten Abstiegs des Fehlers. Er falls vorher abgespaltenen Testdaten, die das System also
wird also mit einer heuristisch festgelegten Schrittweite für auch in der Validierung noch nie sah, schließt das Training
die Gesamtheit der Gewichte zu deren Anpassung verwen- für die gewählten Hyperparameter (Schrittweiten, Normie-
det. Unter geeigneten Voraussetzungen an die Fehlerfunk- rungen, Fixierungen, u. ä.) ab. Weitere Trainingsläufe wer-
tion konvergiert dieser Gradientenabstieg gegen ein ein- den dann mit anderen Parametersätzen durchgeführt, bis
deutiges Minimum. Abbildung 1 stellt den Trainingsvorgang ein akzeptables Ergebnis vorliegt.
6 2. E N T W U R F, T R A I N I N G U N D V O RT R A I N I E RT E S Y S T E M E
Abbildung 1: Highlevel Phasenmodell
Anforderungen:
Trainingsdaten
• Welches Ergebnis soll
unabhängiges
das ML System liefern?
Test-Set
Eingabedaten
• Welche Daten sind verfügbar?
Validierungs-
Training-Set
• In welcher Form?
Set
• Nichtfunktionale Anforderungen
(verf. Resourcen, …)
Training
Entwurf Betrieb, Inferenz
generisches spezifisches
PreTraining TransferTraining
ggf. eines Teilsystems ggf. eines Teilsystems
• Auf welche Datenrepräsentation soll das
ML System trainiert werden (bspw. Ergebnis
Bilderkennung: Bitmaps, Farbinformation,
Vectorgrafik)?
• Interpretation des Ergebnisses
• Benötigte Vorverarbeitung der Daten
(bspw. Edge-Detect, Superpixel, Clustering, • Zusammenführen mehrere
Canonisierung, Semantik-Coercion, …) (unabhängiger) Ergebnisse
• Auswahl eines geeigneten AI/KL Systems • Ableitung von Entscheidungen basierend
(bspw. Experten-System/PROLOG, KNN) auf unscharfen Ergebnissen (Confidence)
• Festlegung der Struktur des ML Systems
(bspw. Struktur eines (konvolutional) KNN)
• Trainingsplan
• Bedrohungs- und Risikoanalyse für das
Zielszenario
Quelle: Plattform Industrie 4.0
Vor über zehn Jahren entstand bereits die Technik des Im Open Source Bereich ist eine große Zahl vortrainierter
„Transfer-Lernens“ (transfer learning, Begriffserklärung in Netze verfügbar geworden. Besonders wenn es darum geht,
der Fachwortsammlung), mit der sich der chronische Man- komplexe Inhalte zu erkennen, die komplexe Parameter-
gel an Daten in vielen Situationen beheben lässt. Statt alle strukturen erfordern, aber gleichzeitig nur sehr wenig
Gewichte eines KNN von Grund auf neu zu bestimmen, Beispielbilder vorhanden sind, kann Transfer-Lernen die
werden dabei die Gewichte der unteren Schichten eines Lösung sein. Ein typisches industrielles Beispiel ist die
bereits fertig trainierten KNN wiederverwendet. Nur die Qualitätskontrolle mit zerstörungsfreier Materialprüfung.
oberen Schichten werden für neu definierte Klassen neu Sofern komplexe Fehlerbilder in komplexen Werkstücken
bestimmt. Es ist heute sehr beliebt, derartige „vortrainier- erkannt werden müssen, könnte es Jahrzehnte dauern, bis
ten“ Netze zu verwenden. Transfer-Lernen ist viel schneller, genügend Fehlerbilder vorliegen, um ein neuronales Netz
da ja nur ein Bruchteil der Gewichte neu trainiert werden zu trainieren. Wenn aus anderen Projekten schon vortrai-
muss, und vor allem reichen sehr viel weniger Daten aus, nierte Netze vorliegen, die mit Transfer Learning auf das
um hohe Trefferraten im Abschlusstest zu erreichen. Erkennen neuer Klassen trainiert werden können, ergeben
sich neue Perspektiven.
2 . E N T W U R F, T R A I N I N G U N D V O RT R A I N I E RT E S Y S T E M E 7
Abbildung 2: Training und vortrainierte Systeme zur Bilderkennung. Andere Formen der visuellen Wahrnehmung
(Szenenerkennung, Objekterkennung und Lokalisation sowie die Unterscheidung zwischen Klassifikation
und Identifikation) werden in Kapitel 7 skizziert.
Gewichte: • Zufallsinitialisierung oder vortrainiert
Vortrainierte Schichten • Iteration mit Hyperparametern oder fixiert
Für Transferlernen • Automatische Bildung einer Hierarchie von Features
Eingabeschicht
X X X Anpassung der Gewichte durch
Training: Backpropagation
XX
X X Gradientenabstieg des Fehlerabstands
X X
X X X
(0, 0,
S
… …
Ausgabeschicht
o
Nicht -Linearität
Nicht -Linearität
Nicht -Linearität
f
…, 1, 0, …,0)
Inferenz t
m Klasse: „cat“
a
x
X X X 1-hot Label
X X X
Verborgene Schichten
Daten für:
Training Vermehrung durch Augmentierung (normalerweise viel weniger echte Daten als Gewichte im System – Statistikproblem)
Ablauf in „Mini-Batches“ (wegen Stabilität der Konvergenz, typischer Umfang : 16-128 Elemente) und „Epochen“
Validierung Kontrolle der Entwicklung der Präzision und rechtzeitiger Abbruch des Trainings, Variation der Hyperparameter
Test Ausschließlich zur finalen Kontrolle der Präzision
Quelle: Plattform Industrie 4.0
Durch die Benutzung vortrainierter Netze entstehen Risi- vention Systems (IDPS) die Cyberangriffe stückweise auto-
ken, sobald nicht vollkommen transparent ist, woraus das matisiert und aktiv verhindern.
Vortraining tatsächlich bestand. Was hat das neue Netz in
seinen tiefen Schichten bereits gelernt? Welche „Biases“[1u] Drei Ausprägungen werden heute am Markt angeboten:
stecken in diesen Gewichten? Kann der Lieferant, der mein Host-basierte (HIDS), Netzwerk-basierte (NIDS) und hyb-
ML-System implementiert, Aussagen über alle (!) Trainings- ride (HIDS) Angriffserkennungssysteme. Während HIDS
daten machen, die mein Netz jemals gesehen hat? Gibt es Informationen aus Log-Dateien, Kernel-Dateien und
Sicherheitsrisiken, mit denen mein System in seinem „frü- Datenbanken analysieren, werden NIDS eingesetzt, um
heren Leben“ vor dem Transfer schon infiziert worden ist? Daten-Pakete im Netz zu untersuchen, HIDS wiederum
Solche Fragen sind Gegenstand des vorliegenden Papiers. verbinden beide Prinzipien in einem Tool.
Für die genannten Systeme müssen zwei IDPS-Typen
2.1 KI-Anwendungen zum Schutz der Systeme unterschieden werden: die Erkennung eines Missbrauchs
gegenüber der Erkennung einer Anomalie. Für die Erken-
Eine der bekanntesten Sicherheitsmaßnahmen zur Erhö- nung eines Missbrauchs werden aus der Modellierung eines
hung der IT-Sicherheit in Firmennetzen sind Angriffser- Angriffs spezifische Pattern extrahiert, gegen die das System
kennungssysteme, im Englischen Intrusion Detection Sys- systematisch durchsucht wird. Hingegen werden Anomalien
tems (IDS) genannt, angewendet auf Computersysteme und identifiziert, wenn das Verhalten des Systems signifikant
Rechnernetze. Sie können Firewalls ergänzen und in der vom ‚Normalen‘ abweicht. Daher muss eine erkannte Ano-
erweiterten Ausführung als Intrusion Detection and Pre- malie nicht notwendigerweise einen Missbrauch darstellen.
1 „Ein Bias bezeichnet allgemein Verzerrungseffekte. In der Statistik wird ein Bias als Fehler im Rahmen der Datenerhebung und -verarbeitung
verstanden.“
8 2. E N T W U R F, T R A I N I N G U N D V O RT R A I N I E RT E S Y S T E M E
IDPS, ergänzt mit KI-Funktionen, können gezielt mit Angriffs 2.2 Über Security-Angriffe gegen
mustern, z. B. mit Denial of Service Angriffen (DoS) trainiert AI-Anwendungen
werden, umgekehrt aber auch mit sogenannten „Normal-
zuständen“, um Anomalien zu erkennen. Im Allgemeinen zzIm Rahmen einer Sicherheitsanalyse von Systemen (Pro-
stellt die sichere Erkennung dieser Normalzustände das dukte, Anwendungen…) sollen im Wesentlichen zwei
schwierigste Problem solcher Verfahren dar, besonders dann, Fragen beantwortet werden:
wenn sich normale Zustände dynamisch verändern können
und das Auftreten neuer Muster normal ist. 1. Welche potenziellen Bedrohungen existieren?
Marktprognosen erwarten, dass ab 2020 neue Technologien 2. Wie kann man eine potenzielle Bedrohung abwehren?
und Methoden, wie Analytik, Maschinelles Lernen und
verhaltensbasiertes Erkennen in den meisten IDPS-Tools Zu 1): Typischerweise klassifiziert man Bedrohungen
integriert sind und am Markt angeboten werden. nach dem CIA-Prinzip aus der klassischen, daten-
zentrierten IT-Security nach CIA = engl. für (confi-
Trotz dieses Fortschritts im Arsenal der Abwehrmaßnahmen dentiality, integrity, availability). Hinzu kommt
sollten moderne IDPS-KI-Tools nicht als Universal-Lösung noch die Authentizität (engl. authenticity).
gegen Cyberangriffe betrachtet werden, schon gar nicht für
alle Zukunft, sondern als neuen Meilenstein im „Hase-Igel- Zu 2): Bedrohungen gegen die „confidentiality“ werden
Wettlauf“ zwischen intelligenteren Angreifern und Vertei- klassisch durch Verschlüsselung oder Zugangskon-
digern. trolle zu Daten (oder deren physikalischen Speicher
und Verarbeitungssystemen) abgewehrt. „Availabiliy“
sichert man durch Redundanzkonzepte und2 . E N T W U R F, T R A I N I N G U N D V O RT R A I N I E RT E S Y S T E M E 9
Abschottung vor Angreifern, Unter „Integrity“ im Es stellt sich nun insbesondere die Frage, wie böswillige
Rahmen der Datenverarbeitung versteht man den Angriffe gegen die Eigenschaften KI1–KI3 abgewehrt oder
möglichen Nachweis einer unbefugten Verände- zumindest erkannt werden können. Können hier klassische
rung der Daten. Dies geschieht klassisch durch Security-Methoden wie Prüfsummen, Verschlüsselung oder
kryptographisch gesicherte Prüfsummen. Redundanz angewendet werden? Sind bekannte Mechanis-
men ausreichend oder müssen neue Methoden entwickelt
zzBei Bedrohungsanalysen von KI-Anwendungen wird ein werden? Wie kann man insbesondere die Eigenschaften
erweiterter Integritätsbegriff erforderlich: KI1 und KI3 testen?
–– Daten-zentrische „IT-Security“ versteht unter Integri- zzBeispiel aus der „Safety“: Ein KI-basiertes System soll
tät den möglichen Nachweis einer unbefugten Verän- sich in den Grenzen gewisser Erwartungen verhalten:
derung von Daten (siehe oben). Im Rahmen von Eine autonome Maschine/Roboter soll den Sicherheits-
„Industrial Security“ muss der Integritätsbegriff auf bereich nicht verlassen bzw. soll prinzipiell Kollisionen
die Funktionalität von Geräten und Systemen erwei- mit anderen Maschinen oder Menschen verhindern.
tert werden: Ein System ist dann „integer“, falls seine Diese Verhaltenseigenschaft darf natürlich nicht durch
ausführbare Funktionalität nicht (unerkannt) verän- böswillige Manipulation der zugrundeliegenden AI-
dert wurde; d. h. das System führt genau die Funktio- Anwendung oder der Input-Daten beeinträchtigt wer-
nen aus, welche von ihm erwartet werden und auch den.
entsprechend dokumentiert sind. Das System soll
nicht von Dritten unbemerkt manipuliert werden zzFrage: Ist „Manipulation der Input-Daten“ eine Bedro-
können. hung, gegen die man sich wehren kann? Gibt es (vorge-
schaltete) Plausibilitätstests als Schutzmechanismen für
zzBei KI-basierten Funktionen eines Gerätes oder Systems KI-Anwendungen?
kann die Ausführung einer Funktion im Einzelfall nicht
vorausgesehen bzw. beschrieben werden, da das System zzÄhnliche Fragen sind aus dem Test (stark) nichtlinearer
im Rahmen seiner internen Entscheidungsfindung nicht kryptographischer Funktionen mit sehr großer Defini-
für jeden Fall „vorhersehbar“ ist. Über die klassische tions- und Wertemenge (> 2128) bekannt. Trotz der kor-
Integrität von Geräten und Systemen hinaus möchte rekten Verifikation vorgegebener Testvektoren kann sich
man sicherstellen, dass die Entscheidungen später herausstellen, dass noch Fehler in der Implemen-
tierung vorlagen.
AI1: unvoreingenommen (engl. „unbiased“) getroffen
werden, Zur Lösung der oben genannten Fragestellungen besteht
weiterhin Forschungsbedarf.
AI2: festgesetzte Systemgrenzen nicht überschreiten und
zzAI3: die „Frage“ des Fragestellers abhängig von den
verfügbaren Daten „sinngemäß“ beantworten. Ein klas-
sischer Verifikationstest gegen einzelne im Lastenheft
festgelegte Funktions- oder Featuremerkmale ist meist
nicht möglich bzw. nicht zielführend, da nicht offen-
sichtlich ist bzw. gar nicht vorgegeben werden soll, „wie“
und aufgrund welcher Merkmale ein ML-System zu
einer Klassifizierung gelangt.10 3. Erklärbarkeit von KI-Entscheidungen
3 . E R K L Ä R B A R K E I T V O N K I- E N T S C H E I D U N G E N 11
3.1 Notwendigkeit von Erklärungen durch Natürlich sollte das System nicht lernen, dass ein wolfähn-
menschliche Argumentation liches Tier auf Schnee wahrscheinlich ein Husky ist. Den
Bereitstellern der Trainingsbilder war dieses Merkmal ihres
Es ist heute ein strittiges Thema, inwieweit es notwendig, Trainingssets auch sicherlich nicht bewusst. Das Beispiel zeigt
konzeptionell sinnvoll und technisch möglich ist, KI-Ent- aber sehr deutlich, dass Trainingsdaten gefährliche Bias-
scheidungen im Sinne einer Klassifizierung für menschliche Eigenschaften haben können, die – gewollt oder ungewollt –
Argumentation erklärbar oder interpretierbar zu machen. technische, ethische und politische Fehlleistungen bewirken
In manchen Anwendungsfeldern bestehen offensichtliche können. Solche Fehlleistungen können auch Gegenstand
geschäftliche Rechtfertigungen für den Wunsch nach Er von Diskussionen im Kontext der DSGVO (GDPR) sein.
klärbarkeit: Warum wurde die Produktionsstraße durch
einen autonomen Roboter zum Stillstand gebracht und wer
trägt daran die Schuld? Warum wurde mein Kreditantrag 3.2 Komplexität des Erklärungsproblems
abgelehnt, obwohl mein gefühlter Finanzstatus doch besser
ist als der Durchschnitt? Es sind in der Regel Fragen nach Erst die neuen Algorithmen des Machine Learning (ML)
Schuld, Haftung und der Korrektheit von Diagnosen, für die haben das Problem der abnehmenden Erklärbarkeit von
der Wunsch nach menschlich verständlicher Argumentation KI-Entscheidungen erzeugt und bewusst gemacht. ML löst
besteht. Andererseits kann davon ausgegangen werden, dass Klassifikationsprobleme durch Approximation: Beobach-
dieser Wunsch abnimmt und zumindest teilweise durch tungen werden durch eine „Hypothese“ angenähert. Mit
größeres Vertrauen in maschinelle Entscheidungen ersetzt Millionen von Beobachtungen kann man mathematische
wird. Funktionen mit Millionen von Parametern kalibrieren
(„trainieren“) – das ist die neue Qualität extrem komplexer
Es wird immer mehr Bereiche geben, in denen Maschinen Hypothesen (beispielsweise in Neuronalen Netzen). Während
präziser, viel schneller und wesentlich zuverlässiger ent- programmierte Entscheidungsbäume oder die Parameter
scheiden. „Würden Sie sich eher einer Herzoperation durch der linearen Regression und anderer linearer Modelle noch
einen renommierten Professor bei einem Sterberisiko von in ihrer menschengemachten Konstruktion weitgehend
8 Prozent oder durch einen Roboter mit Sterberisiko von erklärbar waren, trifft dies auf moderne Neuronale Netze
2 Prozent unterziehen? Wäre es dabei wichtig für Sie, dass mit über 20 bis in die Hunderte von Neuronenschichten
der Professor im Gegensatz zum Roboter im negativen Fall nicht mehr zu. Menschen denken nicht in derart komple-
Ihren Hinterbliebenen verständlich erklären könnte, woran xen Argumentationsstrukturen und die Merkmale, die
der Eingriff scheiterte?“ Außerdem ist es heute in vielen Neuronale Netze in diesen Schichten bilden, haben keine
wissenschaftsbasierten Praktiken vollkommen normal, sich Entsprechungen in menschlicher Mustererkennung.
auch in kritischen Bereichen auf statistische Erfahrung
und nicht auf rationale Erklärung zu stützen. Medizin und So entsteht das Problem, dass fortgeschrittene ML-Techniken
Pharmazie liefern zahlreiche Beispiele. Die Wirkmechanis- übermenschliche Fähigkeiten in der Prädiktion entwickeln,
men gängiger Medikamente wie Aspirin wurden erst Jahr- aber gleichzeitig die Erklärbarkeit in menschlicher Argumen-
zehnte nach ihrem breiten Einsatz erforscht und die allge- tation verlieren. KI-Spezialisten können mit hochentwickel-
meine Testpraxis der Pharmazie geht von Labortieren über ten Analysetechniken aufdecken, warum ihr System, in
spezielle Patientengruppen zu „normaler“ Medikation, aber technischer Hinsicht welche Entscheidungen traf (Sensiti-
nicht über rigorose Erklärung. vitätsanalysen). Insofern sind Neuronale Netze für KI-Spe-
zialisten keine „Black-Box-Systeme“. Es geht bei XAI also
Unbestritten ist dagegen, dass erklärbare KI (explainable vorrangig darum, die überlegene Leistungsfähigkeit moder-
AI – XAI) Beiträge liefern kann, um zu beurteilen, was ein ner ML-Technik durch verbesserte Erklärbarkeit für domä-
System tatsächlich gelernt hat und zu ergründen, ob inhalt- nenspezifische Anwender ohne KI-Expertise nutzbar zu
liche Verzerrungen in den Trainingsdaten sich im Entschei- machen. Es ist auch ein noch nicht klar beschriebenes Ziel
dungsverhalten niederschlagen. Beispielsweise zeigten auf dem Weg zu kontextsensitiver KI, in welcher Form
Sensitivitätsanalysen der Entscheidung im Hinblick auf menschliche Expertise und Argumentationsfähigkeit helfen
die Pixel von Eingabebildern, dass ein Hauptkriterium eines könnte, die Abhängigkeit von exorbitanten Trainingsdaten-
erfolgreichen Bilderkennungssystems bei der bemerkens- mengen zu verringern und so Lernalgorithmen inspirieren
wert hohen Sicherheit in der Unterscheidung zwischen könnte, die wie biologische Gehirne mit viel weniger Bei-
Wölfen und Huskies der Schnee im Hintergrund war. spielen lernen.12 3. E R K L Ä R B A R K E I T V O N K I- E N T S C H E I D U N G E N
3.3 Forschungsansätze zz“Shapley Value Explanations” beruhen auf dem spielthe-
oretischen Konzept des Shapley-Wertes, mit dem die ge
Es gibt seit langem Sensitivitätsanalysen bezogen auf Kom- rechteste Methode zur Verteilung des Ertrags in einem
ponenten von Trainingsdaten: Welche Pixel in Bildern wir- kooperativen Spiel ermittelt wird. Es ist der derzeit aktu-
ken sich in welchem Maß auf Klassifikationsentscheidungen ellste und wissenschaftlich fundierteste Ansatz, benötigt
aus. Da sowohl Eingaben als auch Klassifikation mensch- aber sehr große Rechenleistung, weil eine große Zahl von
lich verständlich sind, liefern solche Techniken Aufschluss Ersatzmodellen trainiert werden muss. Das Paket „SHAP“
über verborgene Verzerrungen (Biases) in Trainingsdaten. versucht die existierenden Konzepte mit dem Shapley-
Wert-Ansatz durch Approximation mit realistisch mög-
Die erwartete Modularisierung in ML-Technologie stellt eine lichem Rechenaufwand vereinbar zu machen.
Analogie zu der konzeptionellen Revolution der „struktu-
rierten Programmierung“ aus den 70er Jahren dar, als „Spa- zzDas LSTMVis-Projekt hat zum Ziel, die Erklärbarkeit
ghetti-Code“ von Software im heutigen Sinn abgelöst wurde. von neuronalen Sequenzmodellen zu beschreiben, die
durch sogenannte Rekurrente Neuronale Netze erzeugt
Die größte konzeptionelle Herausforderung bleibt die Iden- wurden [1].
tifikation von erklärenden Merkmalen in einem offenbar
intelligent agierenden System in menschlich verständliche zzEs existieren diverse andere Ansätze und Angebote, die
Begriffsbilder und Argumentation. Wie kann eine Argumen- aber grundsätzlich in diese führenden Methoden kon-
tation aus beispielsweise 24 Ebenen für Menschen erklärbar zeptionell integrierbar sind.
werden, die mehr als 3 bis 4 Ebenen intellektuell nicht erfas
sen können? Der derzeit verfolgte Ansatz besteht vorwiegend
darin, weitere KI zur Erklärung von KI einzusetzen: Neuro- 3.5 Beispiele
nale Netze, die Menschen erklären, was die intellektuell über
legenen Neuronalen Netze mit ihren Aussagen meinten. zzKI bei der Textanalyse: Erkennung einzelner Worte, deren
Synonyme und des Kontextes auf Basis domainspezifi-
schen Wissens für Rückschlüsse auf Inhalte bzw. beab-
3.4 Vorhandene Techniken sichtigte Aussagen oder Bewertungen. Einsatzfelder sind
fachspezifisches Training und Support. Die KI vermittelt
Grundsätzlich kann man versuchen, komplexe und daher eventuell oberflächlich betrachtet eine gewisse semanti-
auch sehr präzise Systeme als Black-Box zu benutzen und sche Erkennung – tatsächlich wird aber nicht die Erken-
einfachere, aber dafür erklärbarere Systeme einzusetzen, nung der Bedeutung von Sachverhalten erlernt, sondern
um die Prädiktionen des präzisen komplexen Systems nur die Kontexte, in denen die Worte von Menschen zuvor
erklärbar zu machen. Das einfache System benutzt dabei verwendet wurden. Eine „höhere“ Intelligenz liegt diesem
die Klassifizierungen des komplexen Systems als Labels. Einsatzfeld nicht zugrunde.
Dieser Ansatz ist sehr umstritten. Er wird oft als „global“
bezeichnet, weil hier das System als solches, nicht eine ein- zzKI-basierte Übersetzungssysteme: Überwiegend online
zelne Prädiktion, erklärbar gemacht werden soll. verfügbar, basieren auf erlernten Textkorrelationen
unterschiedlicher Fremdsprachen, die aus vorhandenem
Andere Techniken konzentrieren sich auf lokale Ereignisse Übersetzungsmaterial bestehen. Werden ausschließlich
im Sinne der Aussagen des Systems für spezifische Klassifi- hochwertige, zuvor von qualifizierten Menschen (Fach-
kationen: „Warum machte das System diese Aussage für übersetzern) erzeugte Trainingstexte erlernt, können bei
diese spezielle Eingabe“. Für diesen Bereich existieren hinreichend breitem und hochwertigem Trainingstext
inzwischen diverse verfügbare Software-Lösungen, die in angebot qualitativ gute Ergebnisse durch KI-Systeme
realen Projekten eingesetzt werden: erzeugt werden. Allerdings wird keine Qualitätserhöhung
minderwertiger Trainingstexte durch KI-Systeme erreicht.
zzLIME: “Local Interpretable Model-Agnostic Explana- Minderwertige Trainingstexte aus dem „Vortraining“ kön-
tions” kann zur Analyse beliebiger Black-Box-Systeme nen sich dauerhaft negativ auswirken, wenn der aktuell
verwendet werden, um die Wichtigkeit von bestimmten zu übersetzende Text nicht im Detail erlernt wurde und
Features für eine gegebene Prädiktion zu bestimmen. der verwendete Algorithmus „unter allen Umständen“
Es ist das derzeit verbreitetste Paket. einen „Übersetzungstext“ liefert. Bei Onlineangeboten3 . E R K L Ä R B A R K E I T V O N K I- E N T S C H E I D U N G E N 13
existiert ein qualitativer Graubereich. Eine „höhere, zzKI in der intelligenten Automatisierung benutzt alle Daten
semantische“ Erkennung mittels KI liegt auch diesen für verfügbare Produktionsmittel, für zu bearbeitende
Systemen nicht zugrunde. Werkstücke, für notwendige Prozesse, aber auch für
Qualitätskontrollen, Zwischenlagerbestand, Nachbear-
zz„Hochautomatisierte Roboter in Produktionen benöti- beitung usw.
gen u. a. 3-D Umgebungsinformationen, damit z. B. Kolli-
sionen in der Produktion verhindert werden. Zwei Infor-
mations-Elemente müssen dazu sehr schnell von der
KI verarbeitet werden: a) Bildanalyse der Umgebung,
b) Vorhersage der motorischen Bewegung, z. B. vom
Roboter, vom Roboterarm aber auch vom Werkstück.14 4. Angriffsvektoren auf KI bzw. mittels KI
4 . A N G R I F F S V E K TO R E N AU F K I B Z W. M I T T E L S K I 15
KI-basierte Systeme unterliegen Risiken, die in früheren Deshalb wäre es naheliegend, nach Bildern zu suchen, die
Systemen nicht existierten. Solche Risiken entstehen in ein mit MNIST trainiertes Netz als Ziffer erkennt, obwohl
Trainingsvorgängen mit undokumentierten oder mensch- sie für Menschen gar nicht so aussehen. Dazu kann man
lich unverständlichen Daten, durch missverstandene Archi- den gleichen Algorithmus verwenden, mit dem die Gewichte
tektur-, Prozess- oder Leistungsmerkmale und durch andere des Netzes bestimmt wurden, der nun aber auf die 784 Pixel
Struktureigenschaften, die Anwender zumindest teilweise angewandt wird. Tatsächlich findet man so in großer Zahl
nicht kennen. Aufklärung und Beratung ist geboten, damit Rauschbilder, denen das trainierte Netz hohe Wahrschein-
Betreiber nicht unbewusst Risiken eingehen. Außerdem lichkeiten zuordnet, dass es sich um eine bestimmte Ziffer
haben sich in den letzten fünf Jahren KI-basierte Angriffs- handelt: Was für Menschen Rauschen ist, betrachtet das
techniken entwickelt, die besonders für KI-basierte Systeme Netz mit hoher Zuversicht als 3, 4, 7, … Mit einer leichten
gefährlich sein können, die aber auch die gesamte industri- Änderung der Zielfunktion für den Gradientenabstieg kann
elle Security-Diskussion herausfordern und umfassendere man dann beispielsweise eine Suche nach Mustern starten,
Schutzkonzepte brauchen als sie bislang etabliert sind. die als „3“ interpretiert werden, aber für Menschen aussehen
als wäre es beispielsweise eine „7“. Man kann die Perversion
Gegnerische Beispiele (adversarial examples) sind Eingabe- auf die Spitze treiben und mit diesem Verfahren für jedes
daten, die gezielt konstruiert werden, um Mustererkennungs- Bild aus dem MNIST-Testset andere Bilder entwickeln, die
systeme zu falscher Klassifikation zu führen. Das System für Menschen identisch aussehen, vom trainierten Netz
erkennt etwas völlig anderes als es ein menschlicher Beob- aber als jede andere Ziffern mit Zuversicht von mehr als
achter würde. Wie ist das möglich und welche Techniken 90 % klassifiziert werden.
werden von Angreifern eingesetzt? Dieses Kapitel verdeut-
licht den Vorgang an dem bekannten und einfachen Beispiel
des Modified NIST data set (abgekürzt MNIST-Datensatz)
handgeschriebener Ziffern. Er wurde in den 90er Jahren
durch die NIST-Behörde erstellt, um die Postsortierung in
den USA zu automatisieren und besteht aus 60.000 28X28
Pixel 8-bit Graustufenbildern. Professionelle CNN erreichen
Trefferraten von über 99 %, einfache Systeme wie logistische
Regression kommen auf über 93 %. Praktisch alle neuen
ML-Konzepte werden an diesem Datensatz erprobt, weil er
so einfach handhabbar und problemlos zugänglich ist (vgl.
Überblick in [2]).
Das Problem beginnt mit der Mächtigkeit der Modellierung
durch ML: Die Bilder liegen offensichtlich in einem 28X28 =
784-dimensionalen Raum aus ganzen Zahlen mit Werten
zwischen 0 und 255. Es gibt 256784 also mehr als 101888
mögliche Bilder. Führt man sich vor Augen, dass die Physik
schätzt, dass das sichtbare Universum „nur“ etwa 1080 Atome
besitzt, dann erkennt man, dass die Zahl der möglichen
MNIST-Bilder sehr (!) groß ist. „Normale“ Fotos aus einer
Digitalkamera spannen noch dramatisch größere Räume
auf. Zufällige Zusammensetzungen von Pixeln in MNIST-
Bildern werden vom menschlichen Auge als Rauschen
wahrgenommen, solche Bilder stellen nichts Erkennbares
dar. Bilder, die ein Mensch als Ziffer (0, …, 9) erkennt, bilden
nur eine winzige Teilmenge – mit vielleicht einigen Millio-
nen Elementen, sind aber verschwindend wenig gegenüber
101888.16 4. A N G R I F F S V E K TO R E N A U F K I B Z W. M I T T E L S K I
Es gibt Methoden, gegen solche Attacken zu kämpfen. Ein Adversarial Examples können auf diese Weise gewisserma-
sehr einfacher Weg besteht darin, auf reine schwarz-weiß ßen auf Vorrat produziert werden, um zu gegebenem Zeit-
Pixel überzugehen. Die Fehlklassifikation entsteht im grauen punkt zielgerichtete Zero-Day-Angriffe zu starten. Es ist ein
Rauschen und ist damit größtenteils behoben. Das funktio- extremer Fall von Asymmetrie zwischen Angreifer und Ver-
niert aber nur in Bildern, die in dieser Darstellung noch teidiger, der die Angriffsvektoren, die im Verborgenen
Sinn ergeben: Bei Schrift ist das anwendbar, bei Fotos nor- bereitstehen, nicht kennen kann.
malerweise nicht, besonders dann nicht, wenn die Auflösung
gering ist und erst durch Grautöne der Inhalt plastisch wird. Widerstand und Abwehr gegen adversarial examples ist
Eine andere Möglichkeit besteht darin, die falsch erkannten eine Aufgabe für ML-Experten, die in der Lage sind, durch
Bilder mit den korrekten Labels in das Training einzubezie- geeignete sehr speziell ausgerichtete Systemkonfiguration
hen. Auch diese Technik funktioniert. Aber um sie anzu- und Trainingsmaßnahmen einen individuell angepassten
wenden, müssen die gegnerischen Beispiele bekannt sein. Rahmen zu entwickeln, der potentiellen Angreifern hohe
Der Verteidiger wird aber normalerweise nicht wissen, mit Aufwände abverlangt, um erfolgreiche Angriffsbeispiele zu
welcher Zielfunktion der Angreifer seine Bilder erzeugt. Er entwickeln. Die Literatur zu diesem Thema ist sehr umfang
kann also nur nach einem erfolgreich durchgeführten reich und komplex. Es geht vorrangig darum, in einer diffe-
Angriff die erkannte Lücke schließen. renzierten Betrachtung Situationen für ML in speziellen
Anwendungsfällen zu erzeugen, die Resistenz gegen adver-
Noch dramatischer ist das Bedrohungsszenario, das aus der sarial examples garantieren können. Eine umfassende all-
Transferierbarkeit gegnerischer Beispiele zwischen unter- gemeine Lösung des Problems ist noch Gegenstand der
schiedlichen ML-Systemen entsteht [3]. Ein Beispiel, das ein Forschung, aber für spezielle Anwendungen ist dies heute
gegebenes System täuscht, ist mit hoher Wahrscheinlich- bereits möglich.
keit auch in der Lage, ein vollkommen anderes ML-System
zu täuschen: Beispiele, die ein bestimmtes, sagen wir, zwei-
stufiges CNN täuschen, sind oft in der Lage, auch CNN mit
mehr oder weniger oder anders konfigurierten Schichten
zu täuschen und selbst einfachere Techniken, wie logisti-
sche Regression, oder sehr komplexe Techniken, wie ResNet
oder Inception, sind durch die gleichen Angriffe gefährdet.
Der Angreifer muss die Technologie seines Opfers nicht
kennen, es kann für ihn eine Black-Box sein, aber er hat den-
noch gute Chancen einen erfolgreichen Angriff zu starten.17
5. S
icherheitsrisiken bedingt durch
Architekturen und Anwendungen18 5. S I C H E R H E I T S R I S I K E N B E D I N G T D U R C H A R C H I T E K T U R E N U N D A N W E N D U N G E N
Verteilte industrielle Architekturen und Anwendungen stel- Beispiel 1: Ein Beispiel für eine statische, stationäre und
len bekannte wichtige Eigenschaften der Industrie 4.0 dar. geschlossene Anwendung ist der Einsatz einer Kamera
Das sichere Zusammenspiel von KI-Architekturen mit dieser im Zuge einer vollautomatischen Qualitätskontrolle der
neuen Infrastruktur ist allerdings überwiegend unerforscht. Oberfläche eines Metallformteils, bevor dieses Freiform-
Sicherheitsrisiken, wie Wirtschaftsspionage, -sabotage und teil in die Lackier-Straße weitertransportiert wird. Die
Datendiebstahl, sind in Reflektion der gewählten KI-Archi- Kamera untersucht die Oberfläche vom Rohling nach
tektur und vorgesehenen Anwendung zu betrachten. KI-An möglichen Verformungen, die von der Soll-Form abweichen,
wendungen in der Produktion können hierfür unterschied- wie eine Delle oder eine Welle, die beim Tiefziehen ent-
liche Klassifizierungen und Kriterien besitzen, wie standen sein kann. Nach der Lackierung würden solche
sehr geringe Verformungen sehr gut mit dem Auge
zzStatische versus dynamische Anwendung der KI; dies sichtbar werden und das Freiformteil, z. B. ein Kotflügel,
bezieht sich auf die systemische Weiterentwicklung der würde verworfen werden. Die KI-Software wertet das
KI-Software; Kamerabild aus und vergleicht dieses gegen Referenzbil-
der. Die Referenzbilder sind durch ständiges Lernen per-
zzGeschlossene bzw. gekapselte Anwendung mit nur manent weiterentwickelt worden. Die Kamera und die
einem Anwender bzw. einer Anwendung, versus offene KI-Software arbeiten dabei getrennt von anderen Pro-
Anwendung mit dynamischer Anzahl von Anwendern duktions- bzw. Qualitätsschritten. Damit kann dieser
bzw. Anwendungen. Mess- und Entscheidungskreis als autonom von anderer
HW und SW in der Produktionsumgebung betrachtet
Für die Begriffe „Klassifizierung“ und „Kriterien“ könnte werden. Daten von anderen Kamerasystemen werden
auch der Begriff „Freiheitsgrad“ bzw. allgemein „Komplexi- nicht benötigt, da sie an anderen Freiformflächen einge-
tät“ der eingesetzten KI verwendet werden. Je nach Anzahl setzt werden, bei denen andere Soll-Maße existieren.
der Freiheitsgrade der KI-Anwendung sind unterschiedli- Im Gegensatz zur menschlichen Oberflächenkontrolle,
che Bedrohungs-Szenarien zu berücksichtigen, was diese kann das System aus Kamera und KI-SW deutlich ge
Fallunterscheidung wichtig macht. nauere Ergebnisse liefern und kann eine gleichbleibend
hohe Qualität erzeugen.
Geschlossene bzw. gekapselte Anwendung bedeutet in
Abbildung 3: Vier Quadranten-Darstellung der Frei- diesem Beispiel eine Routinetätigkeit der KI in der Pro-
heitsgrade einer KI-Anwendung. Nicht duktion, die von einem einzigen Operator überwacht wird.
dargestellt sind KI in der autonomen Eine Kamera, eine Auswerte-Software und ein Bauteil
Anwendung und beim Pooling. bzw. Werkstück mit hoher Wiederholung in den geome-
trischen Abmessungen kennzeichnen diese Anwendung.
Das Sicherheitsrisiko für Cyberangriffe mit dem Ziel der
Wirtschaftsspionage bzw. -sabotage ist überschaubar, da
Beispiel 3: der Täter und die Tat sehr schnell erkannt werden können.
dynamisch
Beispiel 2:
Kundenübergreifende
Kollaborative
Predicitve-
Roboter
Maintenance
Umgebungskontext
Beispiel 1: Beispiel 4:
statisch
Oberflächen- AGVs in
prüfung Lagerhäusern
geschlossen offen
Dateninterkonnektivität
Quelle: Plattform Industrie 4.05. S I C H E R H E I T S R I S I K E N B E D I N G T D U R C H A R C H I T E K T U R E N U N D A N W E N D U N G E N 19
Beispiel 2: Ein weiteres Beispiel für eine dynamische, Das Beispiel 3 kann leicht auf das Beispiel 1 ausgeweitet
räumlich ausdehnende und offene Anwendung ist das werden, wenn bei Qualitätskontrollen durch einen Mit-
Zusammenschalten kollaborativ zusammenarbeitender arbeiter eine andere Bewertung des Prüfergebnisses der
Roboter und deren Steuerung über einen Leitstand. Das KI entsteht und die abweichende Bewertung über eine
ist Zukunftsmusik. Mehrere Produktionsroboter in einer entsprechende Software der KI des Prüfsystems als „ge
Autoproduktion tauschen über einem Leitstand, der labelter“ Datensatz wieder zugänglich gemacht werden
eine KI-Software enthält, ständig Umgebungsdaten fast kann.
in Echtzeit aus. Die KI soll dabei mögliche Kollisionen
von sehr schnell laufenden Roboter-Armen und zu bear- Beispiel 4: Der Einsatz von intelligenten, selbstnavigieren-
beitenden Werkstückteilen vorhersehen und durch Ein- den Transportplattformen (Automated Guided Vehicles,
griffe in den Prozessablauf verhindern. Zudem können AGV) in Lagerhäusern und verteilten Produktionsland-
Programmierer neue Produktionsprozesse in jedem ein- schaften wie etwa im Flugzeugbau dient als gutes Beispiel
zelnen Roboter einspielen, die wiederum der KI-SW als für offene und zugleich vom Lernverhalten statische
neuer Parametersatz übertragen werden muss. Die KI wird KI-Anwendungen. Die Offenheit ergibt sich durch den
dabei mit vielen Robotern vernetzt, die jeweils unterschied- bedarfsorientierten Einsatz von mehr oder weniger teil-
liche Prozesse in der Produktion anbieten. Die Prozess- nehmenden AGVs in den Anwendungen. So mag ein
programmierung jedes Roboters wird durch mehrere Lagerhaus im hektischen Weihnachtsgeschäft zusätzliche
Operatoren ständig optimiert. Der Mess- und Entschei- Einheiten in Betrieb nehmen, um die Kapazität der Auf-
dungskreis ist als offen zu bezeichnen, da die Zahl der tragsabwicklung zu erhöhen. Eine weitere Dimension
beteiligten Produktionsmittel ständig variiert und daher der Offenheit ergibt sich durch die Vielfalt der zu trans-
einen dynamischen Faktor bildet, wie auch die Prozesse portierenden Elementen. Besonders Logistikanwendun-
ständig durch Operatoren überarbeitet werden und daher gen mit Kontakt zu externen Parteien (z. B. von Kunden
ebenfalls hochgradig dynamisch sind. verpackte Waren) können auf unerwarteten Wegen von
außen zugänglich werden. Grundsätzlich wird die unter-
Beispiel 3: Ein Beispiel für eine größtenteils geschlossene liegende Intelligenz der einzelnen Transportplattformen
Anwendung einer KI, die jedoch im Vergleich zu den nicht wesentlich modifiziert, es findet also kein Weiter-
Beispielen 1 und 2 ein kontrolliertes, dynamisches Wei- lernen des Navigationssystems statt und kann daher als
terlernen der KI im laufenden Betrieb mit entsprechen- statisch gekennzeichnet werden. Dies ist nicht zuletzt
der dynamischer Anpassung des Entscheidungsverhaltens auch den Anforderungen der funktionalen Sicherheit ge
beschreibt, ist die Nachklassifikation von Sicherheits- schuldet, die eine Veränderung zertifizierter Systems
Alarmen aus einer (Cyber-)Security Anwendung durch ausschließen oder zumindest stark einschränken. Typi-
einen Security-Experten. In diesem Fall werden vom Her sche KI-Funktionen in diesem Bereich konzentrieren
steller der Software Prüfalgorithmen ausgeliefert, die im sich im Bereich der Navigation der Einzelplattformen
Kontext der jeweiligen Einsatzumgebung oder des jewei- und des Flottenmanagements. Es sollte aber nicht über-
ligen Unternehmens, welches die Software einsetzt, Fehl sehen werden, dass auf der Ebene des Flottenmanage-
alarme produzieren können. Da die individuellen Ein- ments zunehmend dynamische Lernprozesse realisiert
satzumgebungsparameter stark voneinander abweichen werden. Hier ist eine Koexistenz von dynamischen und
können, kann der Hersteller keine KI-Parameter auslie- statischen Elementen in derselben Anwendung absehbar.
fern, die das Ergebnis des Prüfalgorithmus im jeweiligen
Umgebungskontext klassifizieren. Typische Klassifikatio-
nen solcher Alarme sind die Klassifikation nach echten
Angriffsalarmen, Fehlalarmen, Fehl-Konfigurations-Alar-
men, Unternehmens-Policy-Alarmen etc., die jeweils
unterschiedliche Reaktionen erfordern. Durch die Nach-
klassifikation der Alarme durch einen Security-Experten
entstehen im Laufe des Betriebes der Software viele
„gelabelte“ Datensätze, die direkt der KI zum dynamischen
Nachlernen im laufenden Betrieb zugeführt werden und
somit zur automatisierten Klassifizierung beitragen.Sie können auch lesen
