"AI - weder künstlich noch intelligent" - Chaos Computer Club Wien - PrivacyWeek 2021
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
AI – weder künstlich, noch intelligent
Chaos Computer Club
Wien
„AI – weder künstlich
noch intelligent“
Philipp Schaumann
Dipl. Physiker
https://sicherheitskultur.at/Manipulation.htm
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
AI - Machine learning - Deep learning,
AI = “The study of the modelling of
human mental functions by
computer programs.”
ML = “Machine learning is the
science of getting computers to act
without being explicitly
programmed.”
DL = “Deep Learning is a subfield of
machine learning concerned with
algorithms inspired by the structure
and function of the brain called
artificial neural networks”.
https://towardsdatascience.com/cousins-of-artificial-intelligence-dda4edc27b55
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Die Verwirrung der Begriffe: AI vs. Statistic
Slide 3
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Deep Learning:
Hidden Layers in Neural Network
No solution
currently to find out
what happened in
the hidden layers
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Deep Learning Challenges
for example: “training” the AI that steers a car
• “Deep Learning” is the fastest/cheapest way to “teach”
driving
• Challenges:
• There is no way to check what the system has learned
• There is no way to check whether new training material erases
old training material
• “Deep Learning” System cannot explain WHY they made a
certain decision, no auditability after accidents
https://www.heise.de/tp/features/Autonomes-Fahrzeug-fordert-erstes-Menschenopfer-4001240.html
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Deep Learning Algorithmen machen
(systembedingte) Fehler
Die obere Zeile zeigt jeweils das Originalschild, die Zeile
drunter zeigt wie das Schild verändert wurde und der Text gibt
dann an, wie das System das Schild interpretiert hat.
https://arxiv.org/abs/1802.06430
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Deep Learning Algorithmen machen
(systembedingte) Fehler
Durch solche
Brillen erkennt
das System
andere
existierende
Personen (z.B.
Milla
Jovovich)
https://www.heise.de/newsticker/meldung/Buntes-Brillengestell-soll-zuverlaessig-Gesichtserkennung-austricksen-3456711.html
https://www.newscientist.com/article/2111041-glasses-make-face-recognition-tech-think-youre-milla-jovovich/
Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, DOI: 10.1145/2976749.2978392
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Wie funktioniert Big Data? (1)
• In bestehenden Daten wird nach Mustern
gesucht, nach (mehr oder weniger zufälligen)
Zusammenhängen/ Korrelationen,
• z.B. indem sie die Daten korrelieren,
nach Häufungen suchen,
Cluster finden, (die nicht mal wirklich
existieren müssen) ….
• Sie finden immer Zusammenhänge,
egal ob real oder zufällig
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Big Five personality traits
https://en.wikipedia.org/wiki/Big_Five_personality_traits
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide
AI – weder künstlich, noch intelligent
Persönlichkeitsanalyse über Schreibstil
Wortwahl, Verteilung der
Blödsinn oder Wortlängen und
nicht – Sie Satzlängen sind
bekommen den korreliert mit den „Big
Job oder den Five – Persönlichkeiten“
Kredit trotzdem
Diese „Persönlichkeits-
nicht !
werte“ bilden die Basis
„Die Statistik ist für zahlreiche
der Feind des persönliche
Einzelnen“ Entscheidungen.
http://www.wired.co.uk/news/archive/2013-10/03/facebook-
language-study
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Wie funktioniert Big Data? (2)
• Gleichzeitig geben Auftraggeber vor, in welche
Richtung die zu optimierende Variable sich für die
Gesamtpopulation bewegen soll
• Ertrag / Gewinn (durch personalisierte Werbung)
• Verweilzeit auf der Website / im Netzwerk
• Kosteneinsparung (Reduktion von Schulungen mit
geringen Erfolgsaussichten)
• Rückgang der Kriminalität
• Häufigkeit von Rückfall (Resozialisierung)
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Viele Optimierungsoptionen
• Optimierung von Gewinn (z.B. durch höhere
Preise für „preiselastische“ Zielgruppen – z.B.
Apple User)
• Umsatzsteigerung (z.B. durch gezielte
Sonderangebote für Kunden die darauf
anspringen)
• Auslastung (z.B. durch Preisoptimierung)
• Reduktion von Kreditausfall-Risikos
• Reduktion von Kundenverlust (churn) durch
Analyse der erwarteten „Treue“ des Kunden
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Bewerbungs-KI bevorzugt Jobsuchende
mit Bücherregal im Hintergrund
KI Software des Münchner Start-ups Retorio bewertet Jobsuchende nach
den Kategorien "Offenheit", "Gewissenhaftigkeit" "Extraversion„
"Verträglichkeit" und "Neurotizismus" ("Big Five").
Der "Bayerische Rundfunk" engagierte eine Schauspielerin, die sich
möglichst unterschiedlich kleidete und verschiedene Accessoires nutzte
– und kam dabei zu teils bizarren Ergebnissen.
Beispielsweise wurde die Gewissenhaftigkeit der Frau schlechter
eingeschätzt, nachdem sie eine Brille aufsetzte. Und mit Kopftuch erhielt
sie bei allen Punkten eine gänzlich andere Bewertung.
https://www.derstandard.at/story/2000124300995/bewerbungs-ki-bevorzugt-jobsuchende-mit-
buecherregal-im-hintergrund
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Beispiel Arbeitsamt Österreich (AMS)
Arbeitslose werden künftig (2019) in drei Gruppen A,
B, C eingeteilt und zwar in Gruppen mit hohen,
mittleren und niedrigen Chancen am Arbeitsmarkt. Leicht
Wer mit 66-prozentiger Wahrscheinlichkeit innerhalb vermittelbar
von sieben Monaten wieder einen Job haben wird,
soll als Person mit hoher Arbeitsmarktchance
gelten, Gruppe A. Hier wird
geschult
Wer weniger als 25 Prozent Chance hat innerhalb
von zwei Jahren einen Job zu bekommen gilt als
Person mit niedrigen Chancen und kommt in Gruppe
C. Kaum
vermittelbar
Förderungen, z.B. Schulungen, gibt es
hauptsächlich für Gruppe B
https://derstandard.at/2000089720308/Leseanleitung-zum-AMS-Algorithmus
Algorithmic Profiling of Job Seekers in Austria: How Austerity Politics Are Made Effective
https://www.frontiersin.org/articles/10.3389/fdata.2020.00005/full
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Beispiel Arbeitsamt Österreich (AMS) (2)
Grundsätzliche Probleme der „Stabilisierung“ von Benachteiligungen durch
Rückkopplungseffekte (wer in die Gruppe „schlecht vermittelbar“ eingestuft wird bekommt
weniger Hilfen)
Variable ‚Frau‘ wird generell angewendet, ohne Rücksicht auf den spezifischen
Arbeitsmarkt, das gleiche gilt für ‚Migrationshintergrund‘
Nur 3 Altersgruppen, Probleme an den Grenzen
die spezifischen Gewichtungen im Algorithmus die darüber entscheiden, wie schwer jeder
Faktor in die Entscheidung eingreift, sind intransparent
lokalen Anforderungen sind bezogen nur auf Wohnort, nicht Wunscharbeitsort. D.h.
Regionen die von 1 Branche oder Arbeitsgeber dominiert sind führen zu ganz anderen
Ergebnissen
Alle Branchen werden in nur 2 sehr grobe Klassen eingeteilt: Service oder Produktion.
Mögliche Diskriminierungen von Gruppen wird zu: ‚. . . the system captures the “harsh
reality” of the labor market by making realistic predictions for job seekers belonging to
disadvantaged groups‘
Viele wichtige Parameter wie Eigeninitiative, Social Skills, Berufserfahrung,
Sprachkenntnisse in Fremdsprachen, etc. gehen in die Berechnungen nicht ein
Ausführliche Studie zu den “Problemen” des Algorithmus und zu seinem Einsatz:
https://www.frontiersin.org/articles/10.3389/fdata.2020.00005/full
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Beispiel Arbeitsamt Österreich (AMS) (3)
Die Umsetzung im Arbeitsalltag
Die Trefferraten liegen angeblich um 90%. Ursprünglich wurde
der Algorithmus als 'first opinion' klassifiziert, nach Kritik als
'Second Opinion', was 'overruled' werden kann, was aber
begründet werden muss (d.h. Mehrarbeit und geringere
Effektivität der Bearbeiterin.
Es ist fraglich, obund/oder
Und AI dieseAlgorithmen
Mehrarbeitsind leistbar ist, weil das Ziel des
nicht künstlich
Algorithmus die Erhöhung der Effizienz der Beratung ist. zu viele
hochstufungen reduziert die "Performance" der Beraterin und
der AMS-Stelle.
Letztendlich ist die primäre Zielsetzung „Effektivität“ und nicht
„Fairness“. Und die Kernparameter bestimmt die Politik, nämlich
wie viel Geld für die Unterstützung von Arbeitslosen verfügbar
gemacht wird
Ausführliche Studie zu den “Problemen” des Algorithmus und zu seinem Einsatz:
https://www.frontiersin.org/articles/10.3389/fdata.2020.00005/full
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Fremde Zielsetzungen führen uns
Beispiel Partnervermittlung (1)
Viele Partnervermittlungen (Parship, eHarmony, match.com)
nutzen Algorithmen, die (mögliche) Beziehungen bewerten
und dabei bis zu 10000 Persönlichkeitsparameter pro Partner
vergleichen (“big data” analysis)
Sie entwickeln ein Konzept für “gute Beziehung“
(z.B. Dauer, Glück, gegenseitige Entwicklung fördern, . . . )
Daraus entwickeln sie einen Algorithmus, der bei
Partnersuchenden die Parameter vergleicht und . . .
Wie würden Sie als Chef
Partner vorschlägt, die der Algorithmus für sie Partnervermittlung
einer ausgewählt hat,
die anderen ‚Angebote‘ lernen die Suchenden gar nicht
„programmieren“?
kennen © 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Fremde Zielsetzungen führen uns
Beispiel Partnervermittlung (2)
Entweder
• der “Programmierer” entscheidet, was er / sie für eine
“gute” Beziehung hält
oder
• Die Firma optimiert danach, was für das Unternehmen (z.B.
marketing-technisch) am besten ist
oder
• Die Firma erkennt, dass sie gesellschaftliche Verhältnisse
stabilisiert und versucht, dagegen zu steuern (z.B. „Männer
suchen jüngere Frauen“)
http://sicherheitskultur.at/
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide Seite 18AI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei algorithmischen Systemen
Prof. Dr. Katharina A. Zweig, TU Kaiserslautern: Wo Maschinen irren können
Fehlerquellen und Verantwortlichkeiten in Prozessen algorithmischer Entscheidungsfindung
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Phase 1: Algorithmendesign und Implementierung
(Wissenschaftler oder Informatiker)
Als Angestellte, als Auftragnehmer oder sogar kostenlos bei Open
Source Projekten.
Bei der Entwicklung und Programmierung können / werden Fehler
passieren.
https://algorithmenethik.de/wp-content/uploads/sites/10/2018/02/ZweigADMFehlerquellen_final_ohneCover.pdf
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Model vs. Data-driven
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Phase 2: Methodenauswahl - Datenauswahl
(Data Scientist)
Entscheidung über den Algorithmus und
Datensammlung und Auswahl von (Trainings-)Daten. Bei den Daten
gilt „garbage in – garbage out“ – „Vorurteil rein – Vorurteil raus“.
Teil der Datensammlung ist die sog. Operationalisierung
(abstrakte Konzepte wie „Kreditwürdigkeit“, „Anfälligkeit für
terroristische Ideen“, „Rückfallswahrscheinlichkeit“ wird auf einige
messbare Variable reduziert). Dabei müssen weitgehende
Annahmen getroffen werden die naturbedingt mit großen Fehlern
behaftet sind.
https://algorithmenethik.de/wp-content/uploads/sites/10/2018/02/ZweigADMFehlerquellen_final_ohneCover.pdf
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Immer noch Phase 2: Datenauswahl
(Data Scientist)
Diskriminierung liegt bereits in der Auswahl der Datenquellen vor
2 typische Probleme bei der Datenauswahl:
• Wichtige Variable fehlen in den Datensätzen die besser geeignet
werden liegen nicht vor
• Die verfügbaren Datensätze kommen aus bestimmten Gruppen
oder fehlen für andere Gruppen –
false positive + false negative Probleme: Gruppen sind nicht
repräsentiert oder sie sind überrepräsentiert
Automating Inequality - How High-Tech Tools Profile, Police, and Punish the Poor
https://cyber.harvard.edu/events/automating-inequality
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Phase 3: Konstruktion des Entscheidungssystems
(Data Scientist)
Im Entscheidungssystem wird eine Methode des maschinellen
Lernens mit den ausgewählten Trainingsdaten zusammengeführt.
Dabei werden die im Rahmen der Operationalisierung
ausgewählten Datenelemente berücksichtigt und Qualitätskriterien
gesetzt (z.B. false negative / false positive Rate)
• es sind primär politische Entscheidungen welche Typen von
Fehlern toleriert werden sollen (im Zweifelsfall keine
Förderungen/Schulungen anbieten oder im Zweifelsfall
schulen/fördern)
https://algorithmenethik.de/wp-content/uploads/sites/10/2018/02/ZweigADMFehlerquellen_final_ohneCover.pdf
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Phase 4: Einbettung in den gesellschaftlichen Prozess (Einsatz
des Systems – Ergebnisinterpretation – Aktion)
(Data Scientist + Auftraggeber)
Entscheidung wie die Ergebnisse des Algorithmus konkret
umgesetzt werden sollen. Z.B. welche Form der Darstellung
gewählt wird und wie das Ergebnis dem Entscheider (Angestellter
der Bank, des Arbeitsamts, der Justiz, etc.) präsentiert werden soll.
Auch bei der Interpretation können Fehler oder Vorurteile einfließen.
Oder ob direkt eine automatisierte Entscheidung exekutiert werden
soll (z.B. bei allen Suchmaschinen und Empfehlungsplattformen).
https://algorithmenethik.de/wp-content/uploads/sites/10/2018/02/ZweigADMFehlerquellen_final_ohneCover.pdf
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Immer noch Phase 4: Einbettung in den gesellschaftlichen Prozess
(Data Scientist + Auftraggeber)
Speziell bei Systemen im staatlichen Bereich:
Die Politik gibt vor ob z.B. bei der „Verwaltung“ von knappen Ressourcen
(finanzielle Förderungen, Schulungen, Coaching, Krediten, …) die
Fairness oder die Reduzierung der Ausgaben im Vordergrund steht.
Über die Mittel für Schulungen entscheidet die Politik, die Parameter des
Algorithmus bilden diese Politik nur einfach ab.
“Algorithmic decision-making is human decision-making.” To
pretend otherwise is misleading.
Automating Inequality - How High-Tech Tools Profile, Police, and Punish the Poor
https://cyber.harvard.edu/events/automating-inequality
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Mögliche Fehlerquellen bei Algorithmen
Phase 5: Re-Evaluation (optional)
(Data Scientist oder Entscheider, Auftraggeber)
Hierbei können die erzielten Ergebnisse bewertet werden und dann
Änderungen an Trainingsdaten, der Operationalisierung, der
Methode und ihren Parametern oder des Entscheidungssystem
getroffen werden.
https://algorithmenethik.de/wp-content/uploads/sites/10/2018/02/ZweigADMFehlerquellen_final_ohneCover.pdf
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Das Konzept der geplanten EU-Regulation zur
Zähmung von Algorithmen
Details auf https://sicherheitskultur.at/Newsletter/Newsletter_171.htm#thema1
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
From principles to practice:
Wie wir KI-Ethik messbar machen können
Das Ziel: Die Methode:
https://www.bertelsmann-stiftung.de/de/unsere-projekte/ethik-der-algorithmen/projektnachrichten/from-principles-to-
practice-wie-wir-ki-ethik-messbar-machen-koennen
https://www.bertelsmann-stiftung.de/fileadmin/files/BSt/Publikationen/GrauePublikationen/WKIO_2020_final.pdf Slide 29
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
From principles to practice:
Wie wir KI-Ethik messbar machen können
Das Ziel: Die Methode:
https://www.bertelsmann-stiftung.de/de/unsere-projekte/ethik-der-algorithmen/projektnachrichten/from-principles-to-
practice-wie-wir-ki-ethik-messbar-machen-koennen
https://www.bertelsmann-stiftung.de/fileadmin/files/BSt/Publikationen/GrauePublikationen/WKIO_2020_final.pdf Slide 30
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
More Information
AI Now Institute, New York University,
https://ainowinstitute.org/AI_Now_2018_Report
.pdf
https://algorithmenethik.de/
sehr lesenswerter wöchentlicher Newsletter
Critical voices: Women in AI
https://www.womeninai.co/
data 4 good Vienna
https://viennadatasciencegroup.at/data4good/
Shoshana Zuboff
The Age of Surveillance Capitalism
Slide 31
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Meine Videos zu diesen und weiterführenden Inhalten
„Die Macht der Algorithmen“
https://www.youtube.com/watch?v=oFN7fZMukT0
Von der flächendeckenden Überwachung zur flächendeckenden
Lenkung der Bürger
https://www.youtube.com/watch?v=GS77gnawzYE
https://media.ccc.de/v/pw17-93-
von_der_flachendeckenden_uberwachung_zur_flachendeckenden_lenk
ung_der_burger
Slide 32
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Humor / Sarkasmus
accountability (n) - The act of holding someone else responsible for the
consequences when your AI system fails.
artificial general intelligence (phrase) - A hypothetical AI god that’s probably
far off in the future but also maybe imminent. Can be really good or really bad
whichever is more rhetorically useful. Obviously you’re building the good one.
Which is expensive. Therefore, you need more money. See long-term risks.
ethics board (ph) - A group of advisors without real power, convened to create
the appearance that your company is actively listening. Examples: Google’s AI
ethics board (canceled), Facebook’s Oversight Board (still standing).
explainable (adj) - For describing an AI system that you, the developer, and
the user can understand. Much harder to achieve for the people it’s used on.
Probably not worth the effort. See interpretable.
impact assessment (ph) - A review that you do yourself of your company or
AI system to show your willingness to consider its downsides without changing
anything. See audit.
Mehr auf
https://www.technologyreview.com/2021/04/13/1022568/big-tech-ai-ethics-guide/
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d SlideAI – weder künstlich, noch intelligent
Danke
Ray Kurzweil (Google)
Mehr dazu:
http://sicherheitskultur.at/Manipulation.htm
http://philipps-welt.info/robots.htm#asimovlaws
© 2019, 2020, 2021 Philipp Schaumann, V 0.9d Slide Seite 34Sie können auch lesen
