Maschinen-Bias Stolperfallen beim Einsatz von KI - DIIR Digitale Tage 2019 - ADVISORI FTC GmbH
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
2. DIIR Digitale Tage 2019
Maschinen-Bias
Stolperfallen beim Einsatz von KI
© Advisori FTC GmbH April 2019 1
Was Laien sich vorstellen, wenn sie an KI denken:
Denkt rein logisch
Aussagen sind immer
faktenbasiert
Frei von menschlichen
Vorurteilen (Bias)
© Advisori FTC GmbH April 2019 2
Was dem aktuellen Stand der KI eher entspricht:
Kann in spezifischem
Kontext Muster analysieren
Einsatz außerhalb des
spezifischen Kontextes
problembehaftet
Aussagen basieren auf den
verwendeten Trainingsdaten
Kann Bias entwickeln bei
nicht sorgfältig gewählten
Trainingsdaten
© Advisori FTC GmbH April 2019 3
Die häufigsten Stolperfallen-Typen beim Einsatz
von KI
Wie oft bei neuen Technologien wird Deep Learning/KI als
„Silver Bullet“ beworben
Ähnlich wie mit vorherigen „Wunder“-Technologien gibt es
jedoch signifikante Einschränkungen in der Praxis
Die häufigsten „Stolperfallen“ bei KI sind:
Regel-Blackbox
Out-of-Context – Nutzung
Feedback-Loops
Auf den folgenden Folien zeigen wir Beispiele für diese
Problemfälle
© Advisori FTC GmbH April 2019 4
Bias durch Regel-Blackbox (1/3)
Eine Kerntechnologie der aktuellen AI‘s sind sogenannte
Neuronale Netze
Neuronale Netze lernen von Trainingsdaten, welche
verschiedene Beispiele der erwünschten Ergebnisse
repräsentieren
Ein neuronales Netz „lernt“ anhand der Beispiele und erstellt
selbstständig Regeln, welche das gewünschte Ergebnis
identifizieren sollen
Je komplexer das Netzwerk, desto schwieriger ist es für
Menschen, diese Regeln zu verstehen
Dies kann zu „Blackboxen“ führen, deren Vorgehensweise für
Menschen schwer / gar nicht mehr nachvollziehbar ist
© Advisori FTC GmbH April 2019 5
Bias durch Regel-Blackbox (2/3)
Die selbständige Erstellung von Regeln durch neuronale Netze
kann zu „vergifteten“ Regeln führen: Statt den gewünschten
Parametern (z.B. Gesichtszüge) werden andere, einfachere
Merkmale gewählt
Dies kann absichtlich
herbeigeführt werden
Je nach Auswahl der Daten
reicht oft ein geringer
Prozentsatz an „giftigen“
Daten
Quelle: „Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning “
Extrem-Beispiel: 50 „Gift“- https://arxiv.org/pdf/1712.05526.pdf
Bilder aus 600.000
ausreichend
© Advisori FTC GmbH April 2019 6
Bias durch Regel Blackbox (3/3)
COMPAS-System wurde seit
2002 in den USA benutzt um
Risikowerte von Straftätern
zu berechnen
2016 wiesen KI-Forscher
nach, das COMPAS
rassistischen Bias hat
Hier wurde der menschliche
Bias in Algorithmen
übernommen
Quelle: „ How We Analyzed the COMPAS Recidivism Algorithm“
https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
© Advisori FTC GmbH April 2019 7Out-Of-Context Bias
Out-of-Context Probleme
entstehen, wenn KI-System
in Bereichen mit
abweichenden
Rahmenbedingungen
eingesetzt werden
Rahmenbedingungen
wurden bei der Auswahl der
Trainingsdaten festgelegt
Bias hier: Winkel der
Aufnahme Quelle: „Strike (with) a Pose: Neural Networks Are Easily Fooled
by Strange Poses of Familiar Objects“
https://arxiv.org/pdf/1811.11553.pdf
© Advisori FTC GmbH April 2019 8Feedback-Loop Bias
Feedback-Loops können entstehen, wenn ein Lernendes System
einen Output generiert, der seinen Input beeinflusst
Kann im Extremfall zu „selbsterfüllenden Prophezeiungen“ führen
Oft auch ausgelöst durch Vertauschung von Korrelation und
Kausalität
Praxis-Beispiel: PredPol USA – Predictive Policing zur Planung
von Polizei-Patrolien
Erhöhte Polizei-Patrolien führen zu mehr Festnahmen
Erhöhte Polizeipräsenz erhöht Kriminalitätseinschätzung von
Bürgern bei Umfragen
Falsche Kausalität: Mehr Polizeipräsenz => Mehr Kriminalität
© Advisori FTC GmbH April 2019 9Wie kann man Maschinen-Bias verhindern/mindern?
Problematik ist Komplex,
erlernte Regeln von KI‘s oft
schwer verständlich
Es gibt jedoch einige
relevante Regeln, deren
Beachtung helfen
Außerdem gibt es
inzwischen Open Source
Tools und Forschungs-
gruppen, die Hilfe bieten
© Advisori FTC GmbH April 2019 10Klare Zieldefinitionen
Auch genannt „Correct Problem Framing“ – Ergebnistyp muss klar
definiert sein, wage Definitionen führen zu Problemen
Beispiel: Berechnung der „Kreditwürdigkeit“ eines Kunden (z.B.
SchuFa)
Kreditwürdigkeit ist kein wissenschaftlich klar definierter Begriff
Option 1: Kreditwürdigkeit definiert als Maximierte Zinsrendite
Kann zu vielen Hochzinskrediten an eigentlich nicht
zahlungsfähige Kreditnehmer führen (Sub-Prime Krise)
Option 2: Kreditwürdigkeit definiert als Maximierte
Rückzahlungswahrscheinlichkeit
Vermutlich minimale Zinsrendite/niedrige Bewilligungsrate –
dafür aber minimales Risiko
© Advisori FTC GmbH April 2019 11Sorgfältige Auswahl der Quelldaten
Unkritische Auswahl von Quelldaten für das Training einer KI ist
einer der Hauptgründe für Maschinen-Bias:
Daten repräsentieren nicht die Realität des Einsatz-Kontexts
Daten repräsentieren den unbewussten Bias des Menschen
Beispiel: Chinesische Forscher meldeten, das sie Anhand von
Fotos kriminelle Tendenzen identifizieren könnten:
Forscherkreise wurden schnell misstrauisch (Phrenologie)
Quelldaten waren Polizeifotos von verurteilten Kriminellen und
Social-Media Fotos von Zivilisten
Analyseergebnis: Verurteilte Verbrecher haben meist
schlechte Laune auf Polizeifotos, das System hatte gelernt die
Stimmung der Personen auf den Fotos zu identifizieren
© Advisori FTC GmbH April 2019 12Auswahl und Normierung der relevanten Datensätze
Welche Datensätze aus einer Datenquelle in das Training einer KI
einfließen und ob sie vorher gegenüber einer Referenzskala
normiert werden ist eine kritisches Element
Beispiel: Amazon nutzte eine KI um Bewerber
vorzuselektieren. Die KI filterte weibliche Bewerber für
Führungspositionen aus, da Amazon bis dahin hauptsächlich
Männer in Führungspositionen eingestellt hatte
Bei der Auswahl der Datensätze sollte auch auf so genannte
Seitenkanal-Informationen geachtet werden
Beispiel: Auch wenn das Geschlecht kein verwendeter
Datensatz ist, kann die KI dieses aus dem Vornamen ableiten
© Advisori FTC GmbH April 2019 13Tools und Initiativen gegen KI-Bias
AI Fairness 360 Open Source Toolkit von IBM
http://aif360.mybluemix.net/
Sammlung aus 70 Metriken und 10 Bias-Filter Algorithmen für
KI‘s
Gender Shades Projekt gegen Bias in KI
http://gendershades.org/
Projekt das Bilderkennungssysteme aus rassistischen/
geschlechtlichen Bias prüft
© Advisori FTC GmbH April 2019 14Vielen Dank für
ihre
Aufmerksamkeit
Götz Bundschuh, Security Consultant, Advisori FTC GmbH
© Advisori FTC GmbH April 2019 15Sie können auch lesen
