DEEPFAKES & DESINFORMATION - Agnieszka M. Walorska - Friedrich-Naumann-Stiftung
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
DEEPFAKES
& DESINFORMATION
Agnieszka M. Walorska
ANALYSE
ANALYSE
2 DEEPFAKES & DESINFORMATION
IMPRESSUM
Herausgeber
Friedrich-Naumann-Stiftung für die Freiheit
Karl-Marx-Straße 2
14482 Potsdam
/freiheit.org
/FriedrichNaumannStiftungFreiheit
/FNFreiheit
Autorin
Agnieszka M. Walorska
Redaktion
Referat Globale Themen,
Fachbereich Internationales
Friedrich-Naumann-Stiftung für die Freiheit
Konzept und Layout
TroNa GmbH
Kontakt
Telefon: +49 30 22 01 26 34
Telefax: +49 30 69 08 81 02
E-Mail: service@freiheit.org
Stand
Mai 2020
Bildverzeichnis
Bildmontagen
© Unsplash.de, © freepik.de, S.30 © AdobeStock
Screenshots
S. 16 © https://youtu.be/mSaIrz8lM1U
S. 18 © deepnude.to / Agnieszka M. Walorska
S. 19 © thispersondoesnotexist.com
S. 19 © linkedin.com
S. 19 © talktotransformer.com
S. 25 © gltr.io
S. 26 © twitter.com
Alle anderen Fotos
© Friedrich-Naumann-Stiftung für die Freiheit
S. 31 © Agnieszka M. Walorska
Hinweis zur Nutzung dieser Publikation
Diese Publikation ist ein Informationsangebot der Friedrich-Naumann-Stiftung
für die Freiheit. Die Publikation ist kostenlos erhältlich und nicht zum Verkauf
bestimmt. Sie darf nicht von Parteien oder von Wahlhelfern während eines
Wahlkampfes zum Zwecke der Wahlwerbung verwendet werden (Bundestags-,
Landtags- und Kommunalwahlen sowie Wahlen zum Europäischen Parlament).
Lizenz
Creative Commons (CC BY-NC-ND 4.0)
https://creativecommons.org/licenses/by-nc-nd/4.0
DEEPFAKES & DESINFORMATION 3
4 DEEPFAKES & DESINFORMATION
INHALT
Inhaltsverzeichnis
EXECUTIVE SUMMARY 6
GLOSSAR 8
1.0 STAND DER ENTWICKLUNG
KÜNSTLICHE INTELLIGENZ UND IHRE ROLLE
BEI DER DESINFORMATION 12
2.0 CHEAP FAKES & DEEPFAKES
TECHNOLOGISCHE MÖGLICHKEITEN DER
MANIPULATION VON TEXT, BILD, AUDIO UND VIDEO 14
2.1 DEEPFAKES VS. CHEAP FAKES 15
2.2 BEISPIELE DER ANWENDUNG 16
MANIPULATION VON BEWEGUNGSMUSTERN 16
STIMME UND MIMIK 17
BILDMANIPULATION: DEEPNUDE UND KÜNSTLICHE GESICHTER 18
KI-GENERIERTE TEXTE 19
DEEPFAKES & DESINFORMATION 5 3.0 VERBREITUNG & KONSEQUENZEN WIE GEFÄHRLICH SIND DEEPFAKES WIRKLICH? 20 3.1 VERBREITUNG 20 3.2 KONSEQUENZEN 21 3.3 GIBT ES AUCH POSITIVE BEISPIELE FÜR DIE ANWENDUNG VON DEEPFAKES? 22 4.0 WIE KÖNNEN WIR DEN MIT DEEPFAKES VERBUNDENEN HERAUSFORDERUNGEN BEGEGNEN? 24 4.1 TECHNISCHE LÖSUNGEN ZUR IDENTIFIKATION UND BEKÄMPFUNG VON DEEPFAKES 24 4.2 SELBSTREGULIERUNGSVERSUCHE DER SOCIAL-MEDIA-PLATTFORMEN 26 4.3 REGULIERUNGSVERSUCHE DURCH GESETZGEBER 28 4.4 INDIVIDUELLE VERANTWORTUNG – KRITISCHES DENKEN UND MEDIENKOMPETENZ 29 5.0 WIE GEHT ES WEITER? 30
6 DEEPFAKES & DESINFORMATION
DEEPFAKES & DESINFORMATION 7
Der Einsatz Künstlicher Intelligenz (KI) spielt eine Zwar haben sich Facebook und Twitter mittlerweile
immer größere Rolle in unserer Gesellschaft – mit den selbst Regeln zum Umgang mit manipulierten Inhalten
neuen Möglichkeiten dieser Technologie gehen aber auferlegt, diese sind aber einerseits nicht einheitlich,
auch neue Risiken einher. Eines dieser Risiken ist der anderseits ist es nicht wünschenswert, die Definition der
Missbrauch der Technologie für die bewusste Verbrei- Meinungsfreiheit privaten Unternehmen zu überlassen.
tung von falschen Informationen.
Die Bundesregierung ist auf das Thema „Einsatz KI-
Politisch motivierte Desinformation ist gewiss kein manipulierter Inhalte zur Desinformation“ nicht vorberei-
neues Phänomen, doch der technologische Fort- tet, wie eine Kleine Anfrage der FDP-Bundestagsfraktion
schritt macht die Erzeugung und Verbreitung mani- vom Dezember 2019 deutlich gezeigt hat: Es gibt keine
pulierter Inhalte deutlich einfacher und effizienter als klare Zuständigkeit für das Thema und auch keine spezi-
früher. Mithilfe von KI-Algorithmen lassen sich heut- fische Gesetzgebung; bislang finden lediglich „generell-
zutage Videos schnell und relativ günstig fälschen abstrakte Regelungen“ Anwendung. Aus den Antworten
(Deepfakes), ohne dass hierfür noch Spezialkennt- der Bundesregierung lassen sich weder eine konkrete
nisse erforderlich wären. Strategie noch eine Investitionsabsicht ableiten.
Wenn auch in erster Linie über den möglichen Einsatz Insgesamt scheinen die bisherigen Regulierungsver-
von Deepfakes in Wahlkampagnen diskutiert wird, so suche auf deutscher und europäischer Ebene kaum ge-
macht diese Art von Videos doch nur einen Bruchteil eignet, KI-basierte Desinformation einzudämmen. Dabei
aller Manipulationen aus: In 96 Prozent der Fälle ginge es auch anders. In einigen US-Bundesstaaten gibt
werden Deepfakes dazu genutzt, pornografische es bereits Gesetze sowohl gegen nicht einvernehmliche
Filme mit prominenten Frauen zu erzeugen. Deepfake-Pornografie als auch gegen den Einsatz dieser
Technologie zur Beeinflussung von Wählern.
Auch Frauen, die nicht in der Öffentlichkeit stehen,
finden sich als unfreiwillige Hauptdarstellerinnen in Vor diesem Hintergrund sollte der Gesetzgeber klare
manipulierten Videos wieder (Deepfake-Racheporno- Richtlinien für den einheitlichen Umgang der digitalen
grafie). Zudem können statische Bilder mit Anwen- Plattformen mit Deepfakes im Speziellen und mit Des-
dungen wie DeepNude in täuschend echte Nackt- information im Allgemeinen schaffen. Die Maßnahmen
bilder umgewandelt werden. Wenig überraschend können von der Kennzeichnung manipulierter Inhalte
funktionieren diese Anwendungen nur mit Bildern über die Limitierung ihrer Verbreitung (Ausschluss
von Frauenkörpern. aus Empfehlungsalgorithmen) bis zu ihrer Löschung
reichen. Zudem sollte die Förderung von Medienkom-
Aber nicht nur visuelle Inhalte können manipuliert petenz für alle Bürgerinnen und Bürger, unabhängig
oder algorithmisch produziert werden. KI-generierte vom Alter, eine Priorität darstellen. Es ist wichtig,
Stimmen wurden bereits erfolgreich für Betrug mit die Öffentlichkeit für die Existenz von Deepfakes zu
hohen finanziellen Schäden angewendet, und mit sensibilisieren und die Kompetenz der Menschen zu
GPT-2 können Texte erzeugt werden, die Fakten fördern, audiovisuelle Inhalte zu hinterfragen – auch
und Zitate beliebig erfinden. wenn es immer schwieriger wird, sie als Fälschungen
zu erkennen. In dieser Hinsicht lohnt ein Blick auf die
Wie sollten wir mit dieser Herausforderung am besten nordischen Länder, insbesondere auf Finnland, dessen
umgehen? Unternehmen und Forschungsinstitute Bevölkerung die höchste Widerstandsfähigkeit gegen-
investieren bereits hohe Summen in technologische über Desinformation aufweist.
Lösungen, um KI-generierte Videos zu identifizieren.
Der Nutzen dieser Investitionen ist meist nicht von Eines sollten wir allerdings nicht tun: der Versuchung
Dauer: Sobald die Ergebnisse publik werden, können nachgeben, Deepfakes grundsätzlich zu verbieten. Wie
sich die Entwickler von Deepfakes darauf einstellen jede Technologie, so eröffnet auch diese jenseits der
– der Fortschritt kommt also immer beiden Seiten mit ihr verbundenen Gefahren eine Fülle von interes-
zugute. Aus diesem Grund müssen jene Plattformen santen Möglichkeiten – unter anderem für Bildung,
stärker in die Pflicht genommen werden, über die die Film und Satire.
manipulierten Inhalte verbreitet werden.
8 DEEPFAKES & DESINFORMATION
GLOSSAR
Artificial General Intelligence / Starke KI Cheap Fake / Shallow Fake
Bei der starken KI oder AGI handelt es sich um ein Cheap Fakes sind – im Gegensatz zu Deepfakes – Bild-,
Konzept, bei dem Computersysteme ein breites Audio- oder Videomanipulationen, die unter Zuhilfe-
Spektrum unterschiedlicher Aufgaben beherrschen nahme relativ simpler Technologien kreiert werden.
und dadurch ein menschenähnliches Intelligenzniveau Als Beispiele hierfür können die Geschwindigkeits-
erreichen. Aktuell existieren solche KI-Anwendungen drosselung von Audioaufnahmen oder die Darstellung
noch nicht. Das bedeutet, dass gegenwärtig noch kein von Inhalten im veränderten Kontext genannt werden.
System imstande ist, gleichzeitig Krebs erkennen,
Schach spielen und Auto fahren zu können, selbst
wenn für alle drei Problemstellungen bereits speziali- DARPA
sierte Systeme existieren. Mehrere Forschungsinsti-
tute und Unternehmen arbeiten aktuell an der starken Die Defense Advanced Research Projects Agency
KI, es besteht aber keine Einigkeit darüber, ob und, (Organisation für Forschungsprojekte der Verteidigung)
wenn ja, wann diese realisiert werden kann. ist eine Behörde des US-Verteidigungsministeriums,
deren Aufgabe die Forschung und Finanzierung von
wegweisenden Technologien im militärischen Bereich
Big Tech ist. Die von der DARPA finanzierten Projekte haben
bedeutende Technologien bereitgestellt, die auch im
Der Begriff „Big Tech“ wird in den Medien als Sammel- nichtmilitärischen Bereich Verwendung finden, wie
begriff für die dominierenden Unternehmen der Infor- insbesondere das Internet, aber auch die maschinelle
mationstechnologiebranche verwendet. Häufig wird er Übersetzung oder selbstfahrende Fahrzeuge.
abwechselnd mit dem Begriff „GAFA“ oder „Big Four“ für
Google, Apple, Facebook und Amazon benutzt („GAFAM“,
wenn auch Microsoft dazugezählt wird). Für die chinesi-
schen Big-Tech-Unternehmen wird die Abkürzung BATX
für Baidu, Alibaba, Tencent und Xiaomi verwendet.
DEEPFAKES & DESINFORMATION 9
Deepfake DeepPorn
Deepfakes (eine Wortverschmelzung von Deep Bei DeepPorn werden die Methoden von Deep Learning
Learning und Fake, englisch für Fälschung) sind verwendet, um künstliche pornografische Bilder zu
das Produkt zweier KI-Algorithmen, die in einem generieren.
sogenannten Generative Adversarial Network (zu
Deutsch „erzeugenden gegnerischen Netzwerk“), ab-
gekürzt GAN, zusammenarbeiten. Die GANs können Generative Adversarial Network
am besten als eine Möglichkeit beschrieben werden,
algorithmisch neue Arten von Daten aus bestehen- „Erzeugende gegnerische Netzwerke“ sind algorith-
den Datensätzen zu generieren. So könnte ein GAN mische Architekturen, die zwei neuronale Netze, ein
beispielsweise Tausende von Aufnahmen von Donald generatives und ein diskriminierendes, verwenden.
Trump analysieren und dann ein neues Bild erstellen, Diese beiden treten gegeneinander an (das generative
das den ausgewerteten Aufnahmen ähnelt, ohne aber Netz erzeugt die Daten und das diskriminierende Netz
eine exakte Kopie einer dieser Aufnahmen zu sein. falsifiziert diese), um neue synthetische Datensätze zu
Diese Technologie kann auf unterschiedliche Arten generieren. Der Prozess wird mehrfach wiederholt, um
von Inhalten – Bild, Bewegtbild, Ton und Text – ange- Ergebnisse zu erzielen, die echten Daten extrem ähnlich
wendet werden. Die Bezeichnung Deepfake wird aber sind. Die Netzwerke können mit unterschiedlichen
vor allem auf Audio- und Videoinhalte angewendet. Typen von Daten arbeiten und somit für die Bild- wie
auch für die Text-, Audio- oder Videogenerierung
eingesetzt werden.
Deep Learning
Deep Learning ist ein Teilbereich des maschinellen GPT-2
Lernens, in dem künstliche neuronale Netze eingesetzt
werden, die aus großen Datenmengen lernen. Ähnlich GPT-2 ist ein durch das Forschungsunternehmen
wie Menschen aus Erfahrungen lernen, führt ein Deep- OpenAI entwickeltes, auf einem künstlichen neuronalen
Learning-Algorithmus eine Aufgabe wiederholt aus, Netz basierendes Framework, das in der Lage ist, auto-
um das Ergebnis nach und nach zu verbessern. Wir matisiert englischsprachige Texte zu generieren. Als
sprechen von Deep Learning, also einem „tiefen Lernen“, Datengrundlage für GPT-2 dienen ungefähr 45 Millionen
weil die neuronalen Netze mehrere Schichten haben, die Seiten Text. Im Unterschied zu herkömmlichen Text-
das Lernen ermöglichen. Durch Deep Learning können generatoren setzt GPT-2 die Texte nicht aus fertigen
Maschinen komplexe Probleme lösen, selbst wenn sie Textblöcken zusammen und ist auch nicht auf eine
vielfältige, unstrukturierte Datensätze verwenden. bestimmte Domäne festgelegt. Es kann auf Grundlage
eines beliebigen Satzes oder Textabschnitts neuen
Inhalt generieren.
10 DEEPFAKES & DESINFORMATION
GLOSSAR
IBM Watson
IBM Watson ist ein auf maschinellem Lernen basierendes zum Beispiel lernen, Bilder zu identifizieren, die Katzen
System, das von IBM mit dem Ziel entwickelt wurde, in enthalten, indem sie Beispielbilder analysieren, die
natürlicher Sprache gestellte Fragen zu verstehen und manuell als „Katze“ oder „keine Katze“ gekennzeichnet
beantworten zu können. Große mediale Aufmerksamkeit wurden, und die Ergebnisse zur Identifizierung von
hat IBM Watson erlangt, als es 2011 in der Fernseh-Quiz- Katzen in anderen Bildern verwenden.
show Jeopardy die besten menschlichen Spieler geschla-
gen hat. Mittlerweile positioniert sich IBM Watson als „KI
für Business“ und besteht aus einer Palette von Cloud- und Maschinelles Lernen
Datenprodukten für diverse Branchen – von der Medizin
bis zur Filmproduktion. Das maschinelle Lernen ist im Wesentlichen eine
Methode, bei der Algorithmen verwendet werden, um
Daten zu analysieren, aus ihnen zu lernen und dann eine
KI-Winter Vorhersage zu treffen. Anstatt also die Software mit
exakten Anweisungen zur Ausführung einer bestimm-
Ein KI-Winter ist eine Periode abnehmenden Interesses ten Aufgabe manuell zu programmieren, wird diese mit
und zurückgehender Forschungsgelder im Bereich der großen Datenmengen und Algorithmen trainiert, die ihr
Künstlichen Intelligenz. Der Begriff wurde in Analogie die Fähigkeit verleihen zu lernen, wie die Aufgabe aus-
zu der Idee eines nuklearen Winters geprägt. zuführen ist.
Das Technologiefeld KI hat seit den 1950er Jahren
mehrere Hypes erlebt, auf die Enttäuschung, Kritik
und Finanzierungskürzungen folgten. Microtargeting
Microtargeting ist eine Methode des digitalen Marketings,
Künstliche neuronale Netze mit der versucht wird, Werbebotschaften für die poten-
ziellen Kunden möglichst individuell auszuspielen. Dazu
Künstliche neuronale Netze (Artificial Neural Net- werden, je nach Plattform, demografische Merkmale,
works, kurz ANN) sind Computersysteme, die vage Interessen, Browsing-Historien etc. der Zielpersonen be-
von biologischen neuronalen Netzen inspiriert sind, rücksichtigt. Abhängig von diesen Kriterien können unter-
die sich in den Gehirnen von Menschen und Tieren schiedliche Personen vom gleichen Absender komplett
befinden. ANN „lernen“ die Ausführung von Aufgaben unterschiedlich adressiert werden. Ursprünglich wurde die
anhand von Beispielen, ohne mit aufgabenspezifi- Methode für den Einsatz in politischen Kampagnen ent-
schen Regeln programmiert zu sein. Sie können wickelt, mittlerweile findet sie aber auch bei kommerziellen
Kampagnen Verwendung.DEEPFAKES & DESINFORMATION 11
Phishing Social Engineering
Phishing ist eine Methode der Cyber-Attacke, bei der Als Social Engineering werden Maßnahmen bezeichnet,
E-Mails als Instrument eingesetzt werden. Ziel ist es, die zu einer gezielten Beeinflussung von Menschen
den E-Mail-Empfänger glauben zu machen, dass die führen, beispielsweise um Zugang zu vertraulichen
Nachricht authentisch und von Relevanz für ihn ist Informationen zu erlangen oder die Freigabe von
(zum Beispiel eine Benachrichtigung seiner Bank), und Finanzmitteln zu erreichen. Die Praktik ist auch unter
ihn damit zu motivieren, auf einen Link zu klicken oder dem Begriff „Social Hacking“ bekannt, wenn das Ziel
einen Anhang herunterzuladen. Auf diese Weise können des Social Engineering darin besteht, den Zugang zu
die Hacker Zugriff auf sensible Informationen wie Pass- Computersystemen der entsprechenden Person oder
wörter erlangen. Organisation zu erlangen.
Revenge Porn / Rachepornografie Superintelligenz
Rachepornografie bezieht sich auf das Teilen von Die Superintelligenz ist ein hypothetisches Konzept, bei
intimen sexuellen Darstellungen im Bild oder auf Video, dem die Künstliche Intelligenz nicht nur die intelligen-
ohne dass die abgebildete Person dem zugestimmt testen Menschen, sondern auch die kollektive Intelli-
hätte. Oft wollen die Ex-Partner nach einer beendeten genz der Menschheit übertrifft.
Beziehung auf diese Weise Rache nehmen. Drei Viertel
der Opfer von Rachepornografie sind Frauen.
Vishing
Schwache KI bzw. spezialisierte KI Vishing (Voice Phishing) ist eine Phishing-Methode, bei
der statt einer E-Mail ein Anruf als Instrument einge-
Die Algorithmen der schwachen KI sind darauf spezia- setzt wird. Der Einsatz von Deepfakes für die Stimmen-
lisiert, sehr konkrete Aufgaben zu erfüllen, zum Beispiel generierung kann zu einer erhöhten Effektivität dieser
Gesichter zu erkennen, Sprache zu verstehen, Schach Methode führen.
zu spielen. Auch wenn sie darin meist deutlich besser
oder effizienter als Menschen sind, können sie eben nur
diese spezifischen Probleme lösen. Alle heute existie-
renden Anwendungen, auch komplex erscheinende wie
selbstfahrende Autos oder Sprachassistenzen, gehören
in die Kategorie der schwachen KI.12 DEEPFAKES & DESINFORMATION
1.0
STAND DER
ENTWICKLUNG
KÜNSTLICHE INTELLIGENZ UND IHRE
ROLLE BEI DER DESINFORMATION
Obwohl die Wurzeln der Künstlichen Intelligenz bis Seitdem haben sich prominente Persönlichkeiten
in die Mitte des 20. Jahrhunderts zurückreichen, immer wieder mahnend, teils alarmierend zu dem
hat diese Technologie lange Zeit wenig Aufmerk- Thema geäußert. Häufig zitiert werden Stephen
samkeit erfahren. Erst mit Beginn der 2010er Jahre Hawking („Die Entwicklung der künstlichen Intelli-
scheint das Ende des langen KI-Winters eingeläutet genz könnte das Ende der Menschheit bedeuten“)
worden zu sein: Im Jahr 2011 schlug IBMs Computer- und Elon Musk („KI ist ein grundlegendes existen-
system Watson die besten menschlichen Spieler in zielles Risiko für die menschliche Zivilisation“).
der Fernseh-Quizshow Jeopardy 1), Googles selbst-
fahrender Autoprototyp legte mehr als 100.000 Während Superintelligenz und auch die sogenannte
Meilen (160.000 Kilometer) zurück, und Apple stellte „starke KI“ (AGI, Artificial General Intelligence) noch
die „intelligente persönliche Assistenz“ Siri vor. in ferner Zukunft liegen, spielt die „schwache KI“ mit
ihren gar nicht so schwachen Algorithmen bereits
Das öffentliche Interesse an Künstlicher Intelligenz, heute eine immer größer werdende Rolle in Wirt-
vor allem an den mit ihr verbundenen Risiken, ist schaft, Gesellschaft und Politik. Die Autorin ist davon
seither stetig gewachsen. Der Diskurs über Super- überzeugt, dass die Auswirkungen auf Gesundheit,
intelligenz – ausgelöst durch das gleichnamige Energie, Sicherheit, Mobilität und viele weitere Be-
Buch von Nick Bostrom, das 2014 erschienen ist – reiche weitgehend positiv sein werden. Wir werden
hat die Aufmerksamkeit noch weiter gesteigert. aber die positiven Seiten der Entwicklungen nur dann
genießen können, wenn wir die Risiken dieser Techno-
logie erkennen und ihnen erfolgreich entgegenwirken.
1) ei diesem Quiz erhalten die Teilnehmer allgemeine Wissenshinweise in Form von
B
Antworten und sie müssen ihre Antworten in Form von Fragen formulieren. Zu den
deutschen Adaptionen gehörten Riskant von RTL und Der Große Preis von ZDF.DEEPFAKES & DESINFORMATION 13
„Wir werden die positiven Aspekte dieser
Technologie nur dann genießen können,
wenn wir ihre Risiken erkennen und
ihnen erfolgreich entgegenwirken.“
Eines dieser Risiken ist der Missbrauch der Technologie manipulieren. Diese Videos sind mittlerweile unter dem
für die bewusste Verbreitung von falschen Informa- Namen Deepfakes bekannt geworden. Noch sind sie
tionen. Politisch motivierte Desinformation ist selbst- im Internet selten zu finden, doch mit zunehmender
verständlich kein neues Phänomen. Stalin und Mao Nutzung und Verbreitung stellen sie eine immer größer
sind die prominentesten Namen unter jenen Diktato- werdende Herausforderung für unsere Gesellschaft dar.
ren, die regelmäßig Fotografien so bearbeiten ließen,
dass alte Bilder mit der aktuellen „Wahrheit“ überein- Manipulierte Inhalte verbreiten sich auf Plattformen wie
stimmten: Wer nicht länger genehm war, wurde aus Facebook oder YouTube nicht nur in hoher Geschwin-
den Bildern gelöscht, wer neu in die Parteispitze kam, digkeit, sie werden aufnahmewilligen Empfängerin-
wurde nachträglich hinzugefügt; auch der Kontext der nen und Empfängern auch gezielt angezeigt. Zudem
Bilder wurde, zum Beispiel durch einen abweichenden verlagert sich die Verbreitung von Desinformation
Hintergrund, verändert. Mit der manipulierten visuellen zunehmend auf Messengerdienste wie zum Beispiel
Aufzeichnung sollten neue Fakten geschaffen, Ge- WhatsApp. Dort werden verschlüsselte Nachrichten
schichten und Geschichte neu geschrieben werden. über private Verbindungen verbreitet, was das Ver-
trauen in die weitergeleiteten Informationen erhöht;
Damals waren solche Anpassungen langwierig und es wird dadurch eine Art versteckte Viralität erzeugt.
setzten Spezialwissen voraus, heute kann dies – mit
der richtigen App auf dem Smartphone – jede und Die Verschlüsselung der privaten Online-Kommunika-
jeder problemlos selbst erledigen. Und bei Fotos macht tion ist, ähnlich wie das Briefgeheimnis, ein erstrebens-
die Technologie nicht halt. Ein gefälschtes Video zu wertes Gut – auf diese Weise können Nachrichten nicht
produzieren, das glaubwürdig aussieht, ist aktuell von Dritten eingesehen werden. Die Verschlüsselung
zwar noch mit einigem Aufwand verbunden. Doch bedeutet aber auch, dass die dort verbreiteten Informa-
durch bestimmte Verfahren der Künstlichen Intelligenz tionen nicht auf ihren Wahrheitsgehalt überprüft und
wird es zusehends einfacher, existierende Videos zu somit nicht entsprechend moderiert werden können.14 DEEPFAKES & DESINFORMATION
2.0
CHEAP FAKES
& DEEPFAKES
TECHNOLOGISCHE MÖGLICHKEITEN DER
MANIPULATION VON TEXT, BILD, AUDIO UND VIDEO
In den vergangenen zwei Jahren hat der Begriff In vielen Fällen handelte es sich, nicht sehr über-
Deepfake konstant an Bekanntheit hinzugewonnen. raschend, um pornografische Videos, in denen
Doch was genau sind Deepfakes und wie unterschei- die Gesichter der Darstellerinnen durch die von
den sie sich von anderen manipulierten Inhalten? Prominenten wie Scarlett Johansson oder Taylor
Swift ersetzt wurden. Zu den etwas harmloseren
Während die ersten wissenschaftlichen KI-Experi- Beispielen zählten Filmszenen, in denen alle Ge-
mente zur Manipulation von Videos bereits Ende der sichter der Schauspielerinnen und Schauspieler
1990er Jahre erfolgten, erfuhr die breite Öffentlichkeit gegen das von Nicolas Cage getauscht wurden.
erst ab Ende 2017 von dieser technischen Möglichkeit.
Zu diesem Zeitpunkt ist auch die Begrifflichkeit ent-
standen, als ein Reddit-Benutzer namens Deepfakes
und andere Mitglieder der Reddit-Community „r/deep-
fakes“ die von ihnen erstellten Inhalte veröffentlichten.
„Bei den ersten Deepfakes handelte es sich, nicht sehr
überraschend, um pornografische Videos, in denen die
Gesichter der Darstellerinnen durch die von Prominenten
wie Scarlett Johansson oder Taylor Swift ersetzt wurden.“DEEPFAKES & DESINFORMATION 15
SO FUNKTIONIEREN DEEPFAKES
Deepfakes (eine Wortverschmelzung von Deep Learning und Fake, englisch für Fälschung) sind das Produkt zweier
KI-Algorithmen, die in einem sogenannten Generative Adversarial Network (zu Deutsch „erzeugenden gegnerischen
Netzwerk“), abgekürzt GAN, zusammenarbeiten.
Die GANs können am besten als eine Möglichkeit beschrieben werden, algorithmisch neue Arten von Daten
aus bestehenden Datensätzen zu generieren. So könnte ein GAN beispielsweise Tausende von Aufnahmen von
Donald Trump analysieren und dann ein neues Bild erstellen, das den ausgewerteten Aufnahmen ähnelt, ohne
aber eine exakte Kopie einer dieser Aufnahmen zu sein. Diese Technologie kann auf unterschiedliche Arten von
Inhalten – Bild, Bewegtbild, Ton und Text – angewendet werden. Die Bezeichnung Deepfake wird aber vor allem
auf Audio- und Videoinhalte angewendet.
Mittlerweile sind für ein glaubwürdiges Ergebnis Trainingsdaten von nur wenigen Hundert Bildern bzw. Tonaufnahmen
erforderlich. Schon für knappe 3 US-Dollar kann jeder ein gefälschtes Video einer beliebigen Person bestellen,
vorausgesetzt, es stehen mindestens 250 Bilder dieser Person zur Verfügung – das dürfte aber bei den meisten
Personen, die Instagram oder Facebook nutzen, kein Problem sein. Auch synthetische Sprachaufnahmen lassen
sich für lediglich 10 US-Dollar per 50 Wörter generieren.
2.1 Deepfakes vs. Cheap Fakes
Auch wenn die Manipulation von Pornografie mit Ergebnis: Wer das Video betrachtete, konnte den
Sicherheit zu den am meisten verbreiteten Beispielen plausiblen Eindruck gewinnen, dass Nancy Pelosi
von Deepfakes gehört, ist sie nicht der Hauptgrund für betrunken war. Es wurde millionenfach in den sozia-
die aktuelle gesellschaftliche Debatte. Interessanter- len Medien geteilt. Dies zeigt, wie schon einfachste
weise war das Video, das diese Debatte angestoßen Fälschungen die Realität verzerren und zu politischen
hat, überhaupt kein Deepfake, sondern ein Cheap Fake Zwecken eingesetzt werden können. Immerhin war
(manchmal auch Shallow Fake genannt): ein mit sehr es bislang sehr schwierig, die Aufnahme dahingeh-
einfachen technischen Mitteln gefälschtes Video von end zu verfälschen, dass die betroffene Person ganz
der Sprecherin des US-Repräsentantenhauses, Nancy andere Bewegungen vorführt oder ganz andere
Pelosi. Die Originalgeschwindigkeit der Aufnahme Worte ausspricht als im Originalvideo. Bislang.
wurde auf etwa 75 Prozent reduziert und die Tonhöhe
angehoben, um den natürlichen Klang der Stimme
zu erhalten.16 DEEPFAKES & DESINFORMATION
BEISPIELE DER
ANWENDUNG
Bilder: https://youtu.be/mSaIrz8lM1U
2.2 Manipulation von Bewegungsmustern
Große Aufmerksamkeit hat 2018 eine Anwendung von Natürlich kann ein solcher Algorithmus nicht nur dafür
vier Berkeley-Forschern erhalten, die Künstliche Intelli- verwendet werden, Tanzbewegungen zu imitieren,
genz verwendet, um die Tanzschritte einer Ausgangs- sondern potenziell jede andere Form von Bewegung.
person (zum Beispiel einer professionellen Tänzerin) Damit sind Tür und Tor geöffnet, um politische Gegner
auf eine Zielperson zu übertragen.2) in kompromittierenden Situationen darzustellen.
Welche Auswirkung hätte zum Beispiel eine Videoauf-
Ausgehend vom Quellvideo werden die Bewegungen nahme, die einen Politiker mit Hitlergruß zeigt oder
auf ein „Strichmännchen“ übertragen. Im nächsten einfach nur beim Zeigen des Stinkefingers?
Schritt synthetisiert das neuronale Netzwerk das Ziel-
video gemäß den „Strichmännchenbewegungen“. Das
Ergebnis ist ein „gefaktes” Video, in dem eine dritte
Person wie ein Profi tanzt.
2) https://arxiv.org/pdf/1808.07371.pdfDEEPFAKES & DESINFORMATION 17
WAS SIND KÜNSTLICHE NEURONALE NETZE?
Künstliche neuronale Netze (= Artificial Neural Networks, kurz ANN) sind Computersysteme, die vage von
biologischen neuronalen Netzen inspiriert sind, welche sich in den Gehirnen von Menschen und Tieren befinden.
ANN „lernen“ die Ausführung von Aufgaben anhand von Beispielen, ohne mit aufgabenspezifischen Regeln
programmiert zu sein. Sie können zum Beispiel lernen, Bilder zu identifizieren, die Katzen enthalten, indem sie
Beispielbilder analysieren, die manuell als „Katze“ oder „keine Katze“ gekennzeichnet wurden, und die Ergebnisse
zur Identifizierung von Katzen in anderen Bildern verwenden.
Stimme und Mimik
Noch weiter reichende Konsequenzen können Fälschun- Trotz der offensichtlich schlechten Qualität und einer
gen haben, in denen Personen Worte in den Mund gelegt eher unnatürlichen Mundbewegung, die einen aufmerk-
wurden, die sie nie gesagt haben, in denen aber Gestik, samen Zuschauer sofort Verdacht schöpfen lassen sollte,
Mimik und Stimme verblüffend echt wirken. Mehrere provozierte es Hunderte von Kommentaren, in denen
solcher Videos, unter anderem von Barack Obama und viele ihre Empörung darüber zum Ausdruck brachten,
Mark Zuckerberg, wurden erstellt, allerdings nicht um die dass der amerikanische Präsident es wagen würde, sich
Zuschauer zu täuschen, sondern um die Möglichkeiten in die belgische Klimapolitik einzumischen. Auch im Falle
der Technologie und ihre Gefahren zu demonstrieren. dieses Videos ging es den Machern um Aufklärung.
Inzwischen wurde ein Deepfake auch von einer politi-
schen Partei, der belgischen Socialistische Partij Anders Das Video war eine gezielte Provokation, um die Auf-
(sp.a), erstellt und verbreitet. merksamkeit der Menschen auf eine Online-Petition zu
lenken, in der die belgische Regierung zu dringenden
Im Mai 2018 hat sie ein Video, in dem Trump Belgien Klimaschutzmaßnahmen aufgefordert wird. Was wäre
dafür verspottet, dass es dem Pariser Klimaabkommen aber, wenn jemand ein Video erstellen würde, in dem
treu bleibt, auf Facebook gepostet.3) Trump nicht über die belgische Klimapolitik spricht,
sondern zum Beispiel darüber, dass er einen Atoman-
griff auf Iran beabsichtigt?
3)
https://www.facebook.com/
watch/?v=1015561843465715118 DEEPFAKES & DESINFORMATION
Bildmanipulation:
DeepNude und künstliche Gesichter
Inhalte, die häufig nicht zu den Deepfakes gezählt
werden, obwohl sie mit einer sehr ähnlichen Technologie
generiert werden, sind Bild- und Textinhalte. Der Grund
dafür ist einfach: Sowohl Bilder als auch Texte können
ohne den Einsatz komplexer Technologie so leicht mani-
puliert werden, dass der „Mehrwert“ (oder der Nachteil,
je nach Perspektive) im Vergleich zu Audio- und Video-
inhalten gering ausfällt. Außerdem sind Videoaufnahmen
im Vergleich zu Text und statischem Bild viel effektiver,
um Emotionen wie Angst, Wut oder Hass auszulösen.
Nichtsdestotrotz haben einige der Beispiele für KI-basierte
Manipulationen solcher Inhalte für Aufmerksamkeit ge-
sorgt. Wie schon bei Videos, so werden auch bei Bildern
die Algorithmen vor allem dazu verwendet, gefälschte
pornografische Inhalte zu erzeugen. Innerhalb weniger
Sekunden können Anwendungen wie DeepNude ein
Bikinifoto in ein sehr realistisches Nacktbild umwandeln.
Es wird wohl niemanden überraschen, dass die App nur
bei Frauen funktioniert (beim Versuch, das Bild eines
Mannes zu verwenden, werden einfach weibliche Genita-
lien generiert) und damit jede Frau zu einem potenziellen
Opfer von „Rachepornos“ (Revenge Porn) macht, auch
wenn kein einziges echtes Nacktbild von ihr existiert.
Ein mit der Anwendung deepnude.to generiertes
Nacktbild
Die neuronalen Netze können im Übrigen nicht nur
zur Manipulation von Bildern existierender Personen
angewendet werden, sie „erschaffen“ auch ganz neue
Personen – oder zumindest ganz neue Gesichter.
Eine kommerzielle Anwendung für diese Technologie liegt
auf der Hand: Bilddatenbanken können mit KI deutlich
kosteneffizienter bestückt werden als mit dem Einsatz von
echten Menschen. Allerdings bedeutet dies auch, dass
die Erstellung von falschen Social-Media-Profilen, die zum
Beispiel zur Verbreitung bestimmter politischer Inhalte ein-
gesetzt werden können, deutlich erleichtert wird.DEEPFAKES & DESINFORMATION 19
KI-generierte Texte
Die beschriebene Anwendung kann sich besonders dann
entfalten, wenn sie mit den Mitteln verknüpft wird, die
eine KI-getriebene Textgenerierung bietet.
Mit thispersondoesnotexist.com zufällig generierte
Gesichter
Viele haben von dieser Möglichkeit im Kontext des von
dem Forschungsunternehmen OpenAI geschaffenen
Textgenerators GPT-2 gehört, der wegen seines Miss-
Auch Spionageversuche mit computergenerierten Profil- brauchspotenzials ursprünglich als zu gefährlich ange-
bildern werden bereits vermutet, zum Beispiel bei einem sehen wurde, um ihn der Öffentlichkeit zur Verfügung zu
LinkedIn-Profil von „Katie Jones“, einer angeblichen stellen.5) Später hat sich das Unternehmen doch dazu
Forscherin in einem US-amerikanischen Think-Tank. entschlossen, GPT-2 in mehreren Schritten zu veröffent-
lichen, da die Macherinnen und Macher bis dato keine
eindeutigen Beweise für einen Missbrauch feststellen
konnten.6)
Obwohl dies tatsächlich bislang der Fall sein mag,
räumen sie gleichzeitig ein, dass die Menschen die
vom GPT-2 generierten Texte zum größten Teil für
glaubwürdig erachten würden, dass der Generator
für extremistische Inhalte feinjustiert werden
könne und dass die Erkennung der generierten
Texte eine Herausforderung darstelle. Mit der An-
wendung „Talk To Transformer“ kann jede und jeder
die Funktionsweise von GPT-2 ausprobieren.
LinkedIn-Profil: computergeneriertes Profilbild
von „Katie Jones“
Bevor eine Expertenanalyse mehrere visuelle Anoma-
lien identifizierte, die darauf hindeuteten, dass das Bild
synthetisch erzeugt wurde, hat das Profil es geschafft, Hervorgehobener Text – Vorgabe; übriger Text –
sich mit 52 politischen Persönlichkeiten in Washington KI-generiert mit talktotransformer.com
zu verknüpfen, darunter einem stellvertretenden Assis-
tant Secretary of State, einem hochrangigen Berater
eines Senators und einem prominenten Wirtschafts-
wissenschaftler.4) Gibt man in den Generator einen oder mehrere Sätze
ein, erzeugt er einen Text, der die Eingabe als Ausgangs-
Das Konto wurde von LinkedIn schnell entfernt, soll punkt nimmt. Die Ergebnisse sind oft – nicht immer –
aber zu einem Netzwerk von Phantomprofilen gehören, überraschend kohärent. Sie treffen den zur Vorgabe
von denen einige möglicherweise weiterhin existieren passenden Ton und simulieren Glaubwürdigkeit mit
und beispielsweise für Phishing-Attacken eingesetzt erfundenen Experten, Statistiken und Zitaten.
werden können.
4) ttps://www.cnet.com/news/spy-reportedly-
h
used-ai-generated-photo-to-connect-with-
targets-on-linkedin/
5) https://openai.com/blog/better-language-models/
6) https://openai.com/blog/gpt-2-1-5b-release/20 DEEPFAKES & DESINFORMATION
3.0
VERBREITUNG &
KONSEQUENZEN
WIE GEFÄHRLICH SIND DEEPFAKES WIRKLICH?
3.1 Verbreitung
Es ist nicht einfach, die Verbreitung von Deepfakes Im Jahr 2019 wurde auch bereits über Fälle berichtet, in
exakt zu quantifizieren, zumal davon ausgegangen denen KI-generierte Sprachklone für Social Engineering
werden kann, dass ihre Anzahl stetig wächst. verwendet wurden. Im August berichtete The Wall Street
Journal 8) von einem ersten Fall KI-basierten Stimmbe-
Das Unternehmen Deeptrace, das eine technologische trugs – auch bekannt als Vishing (kurz für Voice Phishing)
Lösung für die Erkennung von Deepfakes anbietet, –, der das betroffene deutsche Unternehmen 220.000
hat sich in seinem Report „The State of Deepfakes: Euro kostete.
Landscape, Threats, and Impact“ 7) um eine genaue
Schätzung bemüht. Dem im September 2019 ver- Die Software hat die Stimme des deutschen Managers,
öffentlichten Bericht zufolge hat sich die Zahl von samt Melodie und dem leichten deutschen Akzent, so
Deepfakes innerhalb von sieben Monaten von 7.964 erfolgreich nachgeahmt, dass sein britischer Kollege
im Dezember 2018 auf 14.678 im Juli 2019 fast ver- sofort dem dringenden Wunsch des Anrufers nachge-
doppelt. Bei 96 Prozent dieser Deepfakes handelt es kommen ist, die genannte Summe zu überweisen.
sich um nicht einvernehmlich erzeugte pornografische Es handelt sich zwar bisher um einen Einzelfall, doch
Inhalte, die ausschließlich weibliche Körper zeigen. ist davon auszugehen, dass es solche Versuche in
Zukunft häufiger geben wird.
Vorrangig betroffen sind prominente Frauen, deren
gefälschte Bilder zu Tausenden online verfügbar Ein signifikanter Teil der medialen Berichterstattung
sind. Allein die vier populärsten DeepPorn-Websites über Deepfakes hat sich auf ihr Potenzial konzen-
verzeichnen laut Deeptrace-Report inzwischen triert, politische Gegner zu diskreditieren und demo-
mehr als 134 Millionen Aufrufe gefälschter Videos kratische Prozesse zu untergraben.
von weiblichen Prominenten.
Dieses Potenzial hat sich bisher nicht entfaltet. Zwar
Aber auch viele Privatpersonen sind von der bereits wurden Videos von Politikern wie Barack Obama,
erwähnten Rachepornografie betroffen. Der Anstieg Donald Trump oder Matteo Renzi technisch manipuliert,
wird vor allem durch die bessere Zugänglichkeit so- dies geschah bisher allerdings primär zu Satire- oder
wohl von Werkzeugen als auch von Dienstleistungen Demonstrationszwecken und wurde schnell aufgeklärt.
ermöglicht, die die Erstellung von Deepfakes auch
ohne Programmierkenntnisse möglich machen.DEEPFAKES & DESINFORMATION 21
„Zwar wurden Videos von Politikern
wie Barack Obama, Donald Trump oder
Matteo Renzi technisch manipuliert,
dies geschah bisher allerdings primär
zu Satire- oder Demonstrationszwe-
cken und wurde schnell aufgeklärt.“
3.2 Konsequenzen
Die Tatsache, dass bisher keine Deepfakes von Politi- Dies zeigt, dass die größte Bedrohung durch Deep-
kern zur Desinformation verwendet wurden, bedeutet fakes gar nicht die Deepfakes selbst sein müssen.
jedoch mitnichten, dass sie keine Auswirkungen auf Allein die technologische Möglichkeit, solche Videos
den politischen Diskurs hatten. Ein Beispiel, das in zu erstellen, wirft die Frage auf: Kann man der Au-
den westlichen Medien nur wenig Beachtung fand, thentizität von Bewegtbildern noch vertrauen?
zeigt, wie das bloße Wissen um die Existenz von
Deepfakes das politische Klima beeinflussen kann: Diese Frage wirft ihre Schatten auf die im Jahr 2020
stattfindenden US-Präsidentschaftswahlen. Bereits im
Gabuns Präsident, Ali Bongo, hatte nach einem Wahlkampf 2016 haben KI-gestützte Desinformation
Schlaganfall monatelang keine öffentlichen Auf- und Manipulation, vor allem in Form von Microtargeting
tritte absolviert. Nachvollziehbarerweise kochte die und Bots, eine Rolle gespielt. Mit Deepfakes ist nun
Gerüchteküche hoch, und es wurden Stimmen laut, ein weiteres Instrument zum Desinformationsarsenal
die behaupteten, der Präsident sei verstorben. Um hinzugekommen. Auch wenn keine oder nur wenige
die Spekulationen auszuräumen, wurde im Dezem- tatsächliche Deepfakes in dem Wahlkampf angewendet
ber 2018 ein Video veröffentlicht, in dem er seine werden sollten, werden Politikerinnen und Politiker
übliche Neujahrsansprache hielt. Die Aufnahme höchstwahrscheinlich die Möglichkeit dankbar an-
hatte jedoch einen konträren Effekt. Viele waren der nehmen, echte, aber unvorteilhafte Aufnahmen als
Meinung, Bongo hätte seltsam ausgesehen, und ver- solche abzutun.
muteten sofort, dass es sich bei dem Video um eine
Fälschung handele. Kurz darauf startete das Militär
einen missglückten Staatsstreich und nannte den
vermeintlichen Deepfake als Teil der Motivation.9)
7)
The State of Deepfakes: Landscape, Threats, and
Die anschließend vorgenommene forensische Analyse Impact, Henry Ajder, Giorgio Patrini, Francesco
hat allerdings die Echtheit der Aufnahme bestätigt. Cavalli, and Laurence Cullen, September 2019.
Ali Bongo hat sich inzwischen von seinem Schlag-
anfall erholt und ist weiterhin im Amt.
8) ttps://www.wsj.com/articles/fraudsters-
h
use-ai-to-mimic-ceos-voice-in-unusual-
cybercrime-case-11567157402
9) ttps://www.technologyreview.com/s/614526/
h
the-biggest-threat-of-Deepfakes-isnt-the-
Deepfakes-themselves/22 DEEPFAKES & DESINFORMATION
3.3 Gibt es auch positive Beispiele für
die Anwendung von Deepfakes?
„Die Technologie gibt uns [...] Wege, Schaden anzu-
richten und Gutes zu tun; sie verstärkt beides. [...] Aber
die Tatsache, dass wir auch jedes Mal eine neue Wahl
haben, ist ein neues Gut“ 10), wird Kevin Kelly, der
langjährige Chefredakteur und Mitglied des Grün-
dungsteams des Technologiemagazins Wired, zitiert.
Kann diese Aussage auch auf Deepfakes zutreffen?
Interessant ist die Technologie besonders für die Film-
branche und hier vor allem in der Postproduktion und
Synchronisation. Warum? Gegenwärtig müssen die
Filmstudios einen großen Aufwand betreiben, um
einen Dialog nachträglich anzupassen.
Die beteiligten Schauspielerinnen und Schauspieler,
das notwendige Personal und der Drehort müssen in
einem solchen Fall noch einmal gebucht werden.
Mit der Technologie, die den Deepfakes zugrunde liegt,
könnte man solche Veränderungen innerhalb kürzes-
ter Zeit und zu einem Bruchteil der Kosten durch-
führen. Auch die Synchronisation der Filme könnte
deutlich verbessert werden:
Es wäre möglich, die Lippenbewegungen der Schau-
spielerinnen und Schauspieler an die Worte der
Synchronsprecherinnen und Synchronsprecher an-
zupassen oder die Stimmen gleich zu synthetisieren
und an die entsprechende Sprache anzupassen, so
dass keine Synchronisation mehr notwendig ist.
10) itat (übersetzt) nach https://www.edge.org/
Z
conversation/kevin_kelly-the-technium/DEEPFAKES & DESINFORMATION 23
Ein Beispiel für solch einen Einsatz liefert ein Video Die Wanderausstellung war in verschiedenen Museen
von David Beckham, der für eine Kampagne gegen in den USA und zuletzt auch im schwedischen Histo-
Malaria wirbt.11) Er „spricht“ darin in mehreren rischen Museum zu sehen. Die Besucherinnen und
Sprachen – und jedes Mal scheint sein Mund mit Besucher der Ausstellung hatten anschließend die
den Worten perfekt synchronisiert zu sein. Möglichkeit, ihre Fragen an die Hologramme zu stellen.
Die Spracherkennungssoftware ordnete die Frage
Auch der Bereich Bildung stellt ein interessantes einem Interviewausschnitt zu. Mit dem Einsatz der
Einsatzgebiet dar: So könnten beispielsweise Vi- Deepfake-Technologie könnte dasselbe in größerem
deos von historischen Figuren erstellt werden, die Maßstab und mehrsprachig durchgeführt werden.
ihre Geschichte erzählen oder Fragen beantworten.
Für viel Medienecho hat das Projekt „Dimensions
of History“ 12) der Shoah Foundation der University
of Southern California gesorgt, bei dem Interviews
mit 15 Holocaust-Überlebenden geführt und holo- „Interessant ist die Technologie
grafische Aufnahmen von ihnen gemacht wurden. besonders für die Filmbranche, und
hier vor allem in der Postproduktion
und Synchronisation.“
11) https://www.malariamustdie.com/
12) https://sfi.usc.edu/dit24 DEEPFAKES & DESINFORMATION
4.0
DEEPFAKES
..
BEKAMPFEN
WIE KÖNNEN WIR DEN MIT DEEPFAKES
VERBUNDENEN HERAUSFORDERUNGEN BEGEGNEN?
Diese positiven Beispiele sollen selbstverständlich nicht Je höher der Anteil an Wörtern mit geringer Vorhersag-
die potenziellen Gefahren, die von Deepfakes ausgehen, barkeit, also an rot- und violettmarkierten Sätzen, desto
kleinreden. Diese Gefahren sind unbestritten und sie größer ist die Wahrscheinlichkeit, dass es sich bei der
erfordern entschiedene Gegenmaßnahmen – darüber Passage um den Text eines menschlichen Autors oder
besteht weitgehend Einigkeit. Weniger Einigkeit be- einer menschlichen Autorin handelt; je vorhersagba-
steht darüber, wie genau diese Gegenmaßnahmen rer die Wörter (und „grüner“ die Passagen), desto wahr-
auszusehen haben. Es stellt sich zudem die Frage, scheinlicher ist es wiederum, dass es sich um einen
wie das Recht des Einzelnen auf freie Meinungsäuße- Textgenerator handelt.
rung garantiert werden kann, ohne dass gleichzeitig
das Bedürfnis der Gesellschaft nach einem zuver- Ähnliche Verfahren können angewendet werden, um
lässigen Informationssystem untergraben wird. manipulierte Videos zu enttarnen. Im Jahr 2018 stell-
ten Forscher fest, dass die Gesichter in Deepfake-
Videos nicht blinzeln. Dies lag daran, dass statische
4.1 Technische Lösungen zur Identifikation Bilder zur Generierung der Aufnahmen genutzt
und Bekämpfung von Deepfakes wurden und diese meist Menschen mit offenen
Augen zeigten. Doch der Nutzen dieser Erkenntnis
Eine Möglichkeit, gegen die Fälschungen vorzugehen, hatte keine lange Dauer. Sobald diese Information
besteht darin, Technologien zu entwickeln, die Fäl- publik wurde, tauchten die ersten Videos mit blin-
schungen von realen Inhalten unterscheiden können. zelnden Augen auf. Ähnlich wird es sich in Zukunft
Zu diesem Zweck werden Algorithmen verwendet, die mit anderen Entdeckungsmechanismen verhalten.
jenen ähneln, die zur Erzeugung von Täuschungen Das gleiche Katz-und-Maus-Spiel wird im Bereich der
entwickelt wurden. Mit GLTR, einem auf dem bereits Cybersecurity mittlerweile seit Jahrzehnten gespielt
erwähnten GPT-2 basierenden Modell, untersuchten – der Fortschritt kommt immer beiden Seiten zugute.
Forscher des MIT-IBM Watson AI Lab und der
HarvardNLP, ob dieselbe Technologie, die eigenständig Diese Tatsache ist freilich kein Grund, Anstrengungen
erfundene Artikel schreibt, auch dafür genutzt werden zur Deepfake-Identifizierung ruhen zu lassen. Im Sep-
kann, durch KI generierte Passagen zu erkennen. Gibt tember 2019 kündigte Facebook – in Zusammenarbeit
man in die Testanwendung eine Textpassage ein, hebt mit der PAI-Initiative 13), Microsoft und mehreren Uni-
sie die Wörter in Grün, Gelb, Rot oder Violett hervor, versitäten – eine mit 10 Millionen US-Dollar dotierte
um die abnehmende Vorhersagbarkeit anzuzeigen. „Deepfake Detection Challenge“ 14) an.DEEPFAKES & DESINFORMATION 25
Analyseergebnis: menschlicher Autor vs. Textgenerator, Quelle: gltr.io
Facebook hat auch die Erstellung eines Datensatzes Meist handelt es sich hierbei um einzelne Unterneh-
mit Bildern und Videos von zu diesem Zweck enga- men, wie das bereits erwähnte Deeptrace, und um
gierten Schauspielern in Auftrag gegeben, um eine Forschungsprojekte wie Face2Face 16) von Matthias
ausreichende Datengrundlage für die Challenge Nießner, Professor an der TU München. Laut Antwort
zu schaffen. Wenige Wochen später veröffent- der Bundesregierung auf eine Kleine Anfrage der
lichte auch Google einen Datensatz von 3.000 FDP-Fraktion beschäftigen sich insbesondere das
manipulierten Videos mit dem gleichen Ziel. „Nationale Forschungszentrum für angewandte Cyber-
sicherheit“ CRISP/ATHE-NE, aber auch die TU München
Auch die beim Pentagon angesiedelte US-ameri- oder das Fraunhofer-Institut mit diesem Thema.
kanische Forschungsförderungsagentur DARPA
arbeitet bereits seit 2016 innerhalb des MediFor- Zudem haben der deutsche Auslandssender Deutsche
Programms (kurz für Media Forensics) daran, Welle (DW), das Fraunhofer-Institut für Digitale Medien-
manipulierte Inhalte zu erkennen, und hat dafür technologie (IDMT) und das Athens Technology Center
innerhalb von zwei Jahren 68 Millionen US-Dollar (ATC) das gemeinsame Forschungsprojekt „Digger“
investiert.15) Ob und an welchen technischen Lösun- gestartet. Ziel des Projekts ist es, die webbasierte
gen zur Bekämpfung von Deepfakes in Deutschland Verifikationsplattform „Truly Media“ von DW und ATC
und Europa gearbeitet wird, ist wenig bekannt. unter anderem um die Audioforensik-Technologien des
Fraunhofer IDMT zu erweitern und Journalisten auf
diese Weise zu helfen.17) Hieraus lassen sich aber
weder eine konkrete Strategie noch eine Investitions-
absicht der Bundesregierung ableiten.
13) he Partnership on AI (PAI) ist eine Organisation,
T „Je höher der Anteil an Wörtern mit
die Universitäten, Forscher, NGOs und Unterneh- geringer Vorhersagbarkeit, also an rot-
men mit dem Ziel verbindet, die Auswirkungen
der KI und Ihren Einfluss auf die Gesellschaft und violettmarkierten Sätzen, desto
besser zu verstehen: www.partnershiponai.org größer ist die Wahrscheinlichkeit, dass
es sich bei der Passage um den Text
14) https://ai.facebook.com/blog/deepfake-
eines menschlichen Autors handelt; je
detection-challenge/
vorhersagbarer die Wörter (und ,grü-
15) https://futurism.com/darpa-68-million- ner‘ die Passagen), desto wahrschein-
technology-Deepfakes
licher ist es wiederum, dass es sich um
16) https://niessnerlab.org/projects/thies2016face.html einen Textgenerator handelt.“
17) https://dip21.bundestag.de/dip21/
btd/19/156/1915657.pdf26 DEEPFAKES & DESINFORMATION
4.2 Selbstregulierungsversuche
der Social-Media-Plattformen
Während die Big-Tech-Unternehmen mit Daten und
finanziellen Mitteln zu einer technologischen Lösung
für die Problematik beitragen wollen, werden mehr
und mehr Stimmen laut, die auch weitergehende
Schritte von Facebook und Co. fordern, gerade da
ihre Plattformen zur Verbreitung von Desinformation
beitragen. Vor diesem Hintergrund haben sich Twitter
und Facebook Ende 2019 bzw. Anfang 2020 zu ihren
Plänen für den Umgang mit Deepfakes geäußert.
Twitter bat im November 2019 seine Nutzerinnen und
Nutzer um Feedback zu einem „Regelvorschlag für
synthetische und manipulierte Medien“. Anfang Februar
2020 wurden die entsprechenden Regeln angekündigt:
Jedes Foto, Audio oder Video, das „erheblich verändert
oder gefälscht“ wurde, um Menschen irrezuführen, wird
dann entfernt, wenn Twitter der Ansicht ist, dass es
ernsthaften Schaden anrichten kann – zum Beispiel
indem es die physische Sicherheit von Menschen ge-
fährdet oder „weitverbreitete Bürgerunruhen“ verur-
sacht. Sollte dies nicht der Fall sein, können die
Tweets dennoch als manipulierte Medien gekenn-
zeichnet, Warnungen beim Versuch, die Inhalte zu
teilen, ausgesprochen und die Inhalte in den Feeds
der Nutzerinnen und Nutzer depriorisiert werden. Die
Änderungen sind am 5. März 2020 in Kraft getreten.18)
Twitter: Umgang mit synthetischen und manipulierten
Medien: https://blog.twitter.com/en_us/topics/
company/2020/new-approach-to-synthetic-and-
manipulated-media.htmlDEEPFAKES & DESINFORMATION 27
„Ob und an welchen technischen
Lösungen zur Bekämpfung von
Deepfakes in Deutschland und
Europa gearbeitet wird, ist wenig
bekannt.“
Facebook geht einen Schritt weiter. Am 6. Januar 2020 Dieser Ansatz entspricht auch Facebooks Verständnis
hat Monika Bickert, Facebooks Vice President Global von freier Meinungsäußerung und geht über das The-
Policy Management, in einem Blogbeitrag angekündigt, ma Deepfake noch hinaus. Im Kontext der Debatte rund
dass künftig Deepfakes, die bestimmten Kriterien um politische Werbung schrieb Rob Leathern, Direktor
entsprechen, von der Plattform gelöscht werden des Produktmanagements bei Facebook, im Januar
sollen.19) Gelöscht werden sollen demnach Inhalte, 2020 in einem Blog-Post, dass solche Entscheidungen
die mithilfe von KI auf eine Weise bearbeitet oder nicht von Privatunternehmen getroffen werden sollen,
synthetisiert wurden, die sie für eine Durchschnitts- „weshalb wir für eine Regulierung plädieren, die für die
person authentisch erscheinen lassen würden. Von gesamte Branche gelten würde. In Ermangelung einer
dieser Richtlinie sollen allerdings Inhalte ausgenommen Regulierung bleibt es Facebook und anderen Unter-
werden, bei denen es sich um Satire handelt, was einen nehmen überlassen, ihre eigene Politik zu gestalten.“
signifikanten Interpretationsspielraum offenlässt.
Sicherlich lässt sich darüber diskutieren, ob Facebooks
Interessanterweise gilt diese Richtlinie nicht für Cheap Auslegung der Meinungsfreiheit unter ethischen Ge-
Fakes, sondern explizit nur für die KI-generierten In- sichtspunkten richtig ist. Die Aussage von Rob Leathern
halte. Dementsprechend ist das bereits erwähnte macht aber auf ein wichtiges Thema aufmerksam – die
gefälschte Video von Nancy Pelosi weiterhin auf fehlende oder zumindest lückenhafte Regulierung.
Facebook verfügbar.20) Facebook räumte zwar ein,
dass seine Faktenprüfer das Video als falsch ein-
gestuft haben, lehnte es aber ab, es zu löschen,
da das Unternehmen „keine Richtlinie habe, die
vorschreibt, dass die Informationen, die auf Face-
18) https://blog.twitter.com/en_us/topics/
company/2020/new-approach-to-syn-
book gepostet werden, wahr sein müssen“ 21). thetic-and-manipulated-media.html
19) ttps://about.fb.com/news/2020/01/
h
enforcing-against-manipulated-media/
20)
YouTube wiederum, eine weitere Plattform,
die mit ihren Empfehlungsalgorithmen zur
Viralität von Falschinformationen beiträgt,
hat das besagte Video zwar gelöscht, ver-
weigert jedoch eine klare Aussage zum
künftigen Umgang mit Deepfakes.
21) https://www.politico.com/story/2019/05/24/
facebook-fake-pelosi-video-147241328 DEEPFAKES & DESINFORMATION
4.3 Regulierungsversuche
durch Gesetzgeber
In Deutschland finden auf Deepfakes „generell-abstrakte Während es durchaus überlegenswert ist, ob eine
Regelungen“ Anwendung, so die Antwort der Bundes- ähnliche Regulierung auch von anderen Ländern über-
regierung auf die bereits erwähnte Kleine Anfrage der nommen werden sollte, hinterlässt sie im Falle Chinas
FDP-Fraktion. „Spezifische Regelungen auf Bundes- doch einen üblen Nachgeschmack: Die chinesische
ebene, die ausschließlich Deep-Fake-Anwendungen Regierung ihrerseits geht mit technologiegestützter
erfassen oder für diese geschaffen wurden, existieren Desinformation zum Beispiel gegen die Protestieren-
nicht. Die Bundesregierung überprüft den Rechts- den in Hongkong vor, und es ist davon auszugehen,
rahmen auf Bundesebene fortlaufend daraufhin, ob dass diese neue Regulierung als Vorwand für wei-
aufgrund von technologischen oder gesellschaftlichen tere Zensuranstrengungen genutzt werden wird.
Herausforderungen ein Anpassungsbedarf besteht.“
Sicherlich ist eine wirksame Regulierung neuer tech-
Dies bedeutet, dass einige Teilaspekte der Deepfake- nologischer Phänomene nicht ganz einfach. Auch in
Problematik, zum Beispiel die Rachepornografie, ver- der Vergangenheit hat man sich hiermit immer wieder
meintlich durch existierende Gesetze implizit abgedeckt schwergetan. Das Fahren eines Autos im England des
sind, jedoch ein expliziter Umgang mit manipulierten 19. Jahrhunderts zum Beispiel erforderte nach dem
Inhalten fehlt. Dies betrifft nicht nur das spezielle Locomotive Act von 1865 eine zweite Person, die dem
Thema „Deepfakes“, sondern das gesamte Spektrum Fahrzeug zu Fuß vorausging und eine rote Flagge
der Desinformation im digitalen Raum. Wie der Autor schwenkte.24) Trotzdem gibt es Maßnahmen, die die
der Studie „Regulatorische Reaktionen auf Desinfor- Gesetzgeber jetzt schon ergreifen können, um dem Phä-
mation“ 22) der Stiftung Neue Verantwortung aufzeigt, nomen Deepfake entgegenzuwirken. Da es sich aktuell
„sind bisherige Regulierungsversuche und politische bei 96 Prozent der Deepfakes um nicht einvernehmliche
Lösungsansätze [in Deutschland und Europa] kaum Pornografie handelt, wäre es ein guter Anfang, diese,
geeignet, um Desinformation einzudämmen“. wie in Virginia oder Kalifornien, explizit unter Strafe zu
stellen. In die gleiche Richtung sollte die Regulierung
Eine detaillierte Analyse des Status der Deepfake- bezüglich Verleumdung, Betrug und Persönlichkeits-
Regulierung in den USA zeigt die Studie der Kanzlei rechten gehen. Des Weiteren sollten die Gesetzgeber
WilmerHale „Deepfake Legislation: A Nationwide Survey“ 23). klare Richtlinien für den einheitlichen Umgang der
In den USA wurden explizite Deepfake-Gesetze bereits digitalen Plattformen mit Deepfakes im Speziellen und
in das Strafrecht aufgenommen – zum Beispiel in mit der Desinformation im Allgemeinen schaffen.
Virginia, das nicht einvernehmliche Deepfake-Porno-
grafie unter Strafe stellt, oder in Texas, wo Deepfakes, Diese Maßnahmen können von der Kennzeichnung
die Wählerinnen und Wähler beeinflussen sollen, unter über die Limitierung der Verbreitung (Ausschluss aus
Strafe gestellt werden. Ähnliche Gesetze wurden im Empfehlungsalgorithmen) bis zur Löschung von Deep-
September 2019 auch in Kalifornien verabschiedet. fakes reichen. Zudem sollte die Förderung von Medien-
kompetenz für alle Bürgerinnen und Bürger, unabhängig
Die wahrscheinlich weitestgehende Regulierung von vom Alter, eine Priorität darstellen. Eine angemessene
Deepfakes hat Ende 2019 der chinesische Gesetz- Aufklärung darüber, wie Deepfakes entstehen und ver-
geber vorgenommen. Die chinesischen Gesetze breitet werden, sollte die Bürgerinnen und Bürger in die
verlangen, dass Anbieter sowie Nutzer von Audio- Lage versetzen, Desinformation als solche zu erkennen
informationsdiensten und online Videonachrich- und sich nicht davon in die Irre führen zu lassen.
ten alle Inhalte, die mithilfe neuer Technologien
wie zum Beispiel Künstlicher Intelligenz erstellt
oder verändert wurden, klar kennzeichnen.
22) https://www.stiftung-nv.de/sites/default/files/regulatorische_reaktionen_
auf_desinformation.pdf
23) atthew Ferraro, WilmerHale | Deepfake Legislation: A Nationwide Survey—State
M
and Federal Lawmakers Consider Legislation to Regulate Manipulated Media.
24) https://sites.google.com/site/motormiscellany/motoring/law-and-the-motorist/
locomotive-act-1865/Sie können auch lesen
