Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen - Jakob Guhl, Oliver Marsh & ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen Jakob Guhl, Oliver Marsh & Henry Tuck
Autoren Überblick
Jakob Guhl ist Senior Research Manager beim ISD, wo er in In diesem Bericht werden die Ergebnisse der ersten
der Digital Research Unit und für das ISD Germany arbeitet. Scoping-Phase eines von Omidyar Network geförderten
Seine Forschungsschwerpunkte sind Rechtsextremismus, und vom Institute for Strategic Dialogue (ISD) und CASM
islamistischer Extremismus, Hassrede, Desinformation Technology ins Leben gerufenen Projekts vorgestellt. Ziel
und Verschwörungsideologien. Als ISD-Experte wurde des Projekts ist es, Online-Räume jenseits der Mainstream-
Jakob mehrfach eingeladen, seine Forschungen dem Plattformen zu identifizieren, die zunehmend von
Bundesministerium der Justiz vorzustellen und dem Individuen und Gemeinschaften zur Verbreitung
Bundesministerium des Innern und für Heimat seine von Extremismus, Hass und Desinformation genutzt
Handlungsempfehlungen zur Prävention gegen werden, die sich von Mainstream-Plattformen entfernen.
Rechtsextremismus auszusprechen. Der Bericht skizziert die wichtigsten Hindernisse, die diese
Plattformen bei der Erforschung und Bekämpfung schädli-
Oliver Marsh ist Gründer des Beratungsunternehmens The cher Inhalte und Verhaltensweisen aufweisen, und
Data Skills Consultancy, das die Arbeit an der Schnittstelle identifiziert bestehende Forschungsmethoden und Tools,
von Datenkompetenz und Soft Skills unterstützt. Zuvor um diese Hindernisse zu bewältigen. Schließlich stellt er
war er als Regierungsbeamter am Aufbau der Rapid mögliche Zukunftsszenarien für das im Wandel begriffene
Response Unit der britischen Regierung und im Online-Ökosystem vor und gibt eine Reihe von
Ministerium für Digitales, Kultur, Medien und Sport an der Empfehlungen für politische Entscheidungsträger:innen,
Schaffung von Datenzuverlässigkeit nach dem Brexit Plattformen und die Forschungsgemeinschaft.
beteiligt. Er ist Fellow der Denkfabrik Demos, Policy Fellow
der Royal Academy of Engineering und Honorary Research Danksagungen
Associate der Abteilung für Wissenschaft und Technologie Dieser Bericht wäre ohne die finanzielle Unterstützung
an der University College London. durch das Omidyar Network nicht möglich gewesen. Wir
möchten uns bei Wafa Ben-Hassine, Anamitra Deb und
Henry Tuck ist Head of Digital Policy beim ISD, wo er die Emma Leiken für ihre Vision, ihre kontinuierliche
Arbeit zur digitalen Regulierung und zu den Maßnahmen Unterstützung und ihr aufschlussreiches Feedback
der Technologieunternehmen gegen Terrorismus, bedanken.
Extremismus, Hass sowie Des- und Misinformation im
Internet leitet. Henry betreut das Projekt Digital Policy Lab Die Autoren möchten auch dem gesamten Projektteam
(DPL) des ISD und führt Beratungen zu wichtigen für seine Beiträge danken, die diesen Bericht möglich
Vorschlägen im Bereich der digitalen Regulierung in gemacht haben: Francesca Visser, Jacob Davey, Lea
Europa und den Five-Eyes-Ländern durch. Er arbeitet mit Gerster, Daniel Maki, David Leenstra und Francesca
der Digital Analysis Unit des ISD zusammen, um Arcostanzo vom ISD sowie Nestor Prieto Chavana und Carl
Forschungsergebnisse in umsetzbare Empfehlungen für Miller von CASM.
die digitale Politik zu übersetzen.
Schließlich bedanken wir uns auch bei Eduardo Ustaran
und Nick Westbrook von der Wirtschaftskanzlei Hogan
Lovells für ihre wertvolle Zeit und Unterstützung beim
Verständnis der in diesem Bericht behandelten rechtlichen
Herausforderungen.
Amman Berlin London Paris Washington DC
Copyright © Institute for Strategic Dialogue (2023).
Das Institute for Strategic Dialogue (gGmbH) ist beim
Amtsgericht Berlin-Charlottenburg registriert (HRB 207 328B).
Die Geschäftsführerin ist Huberta von Voss. Die Anschrift lautet:
Postfach 80647, 10006 Berlin. Alle Rechte vorbehalten.
www.isdglobal.orgErforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 3 Contents Glossar 4 Einleitung 6 Schädliche Inhalte und Verhaltensweisen im Internet 7 Schädliche Inhalte und Verhaltensweisen aufspüren 8 Kapitel 1: Plattform-Scoping 10 Kapitel 2: Drei Hindernisse 15 Hindernis 1: technologische Hindernisse 15 Hindernis 2: ethische und rechtliche Hindernisse 16 Hindernis 3: Fragmentierung 18 Kapitel 3: Methoden und Tools 21 Methode 1: systematische Suche 21 Methode 2: Ethnografie 22 Methode 3: Crowdsourcing und Umfragen 23 Methoden vs. Hindernisse 25 Tools 26 Kapitel 4: Auswahl der Plattformen für Phase II der Forschung 28 Kapitel 5: Mögliche Zukunftsszenarien 31 Pessimistisches Szenario 31 Optimistisches Szenario 31 Empfehlungen 33 Zusammenfassung 36 Endnoten 37
4 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
Glossar
Mit dem Begriff Alt-Tech bezeichnet man Social-Media- geschützter Merkmale wie ethnische Zugehörigkeit,
Plattformen, die von Gruppen und Einzelpersonen genutzt Religion, Geschlecht, sexuelle Orientierung oder
werden, die der Meinung sind, dass ihre politischen Behinderung angreifen, verleumden, delegitimieren oder
Ansichten auf den großen Social-Media-Plattformen nicht ausgrenzen. Hassakteur:innen sind Einzelpersonen,
erwünscht sind. Dazu gehören Plattformen, die zur Gruppen oder Gemeinschaften, die sich aktiv und offen an
Förderung bestimmter politischer Ziele eingerichtet den oben genannten Aktivitäten beteiligen, ebenso wie
wurden; libertäre Plattformen, die ein breites Spektrum diejenigen, die implizit Menschengruppen angreifen,
politischer Positionen tolerieren, darunter auch z. B. durch die Verwendung von Verschwörungsideologien
hasserfüllte und extremistische Meinungen; sowie und Desinformation. Hasserfüllte Aktivitäten laufen dem
Plattformen, die ursprünglich für ganz andere, unpoli- Pluralismus und der universellen Anwendung der
tische Zwecke wie z. B. Gaming bestimmt waren. Menschenrechte zuwider.
Eine Programmierschnittstelle, kurz API (vom Englischen Offene Plattformen sind Social-Media-Plattformen, auf
„application programming inter face“), ist ein denen Inhalte für allgemeine Nutzer:innen ohne weitere
Programmteil, der es zwei Anwendungen ermöglicht, Überprüfung sichtbar und oft über Suchmaschinen
miteinander zu kommunizieren. Es gibt eine Vielzahl von zugänglich sind. Im Gegensatz dazu sind Inhalte auf
Verwendungsmöglichkeiten für APIs. Im Zusammenhang geschlossenen Plattformen nicht ohne weiteres über
mit diesem Bericht ermöglichen APIs Forscher:innen den Suchmaschinen zugänglich und erfordern oft eine zusät-
Zugriff auf bestimmte Daten von einigen Online- zliche Authentifizierung oder eine Einladung. Plattformen
Plattformen durch an die Plattformen gestellte Anfragen. enthalten oft sowohl offene als auch geschlossene
Als Schnittstelle bieten APIs auch eine zusätzliche Elemente, z. B. gibt es bei Facebook öffentliche (offene)
Sicherheitsebene, indem sie keinen direkten Zugriff auf und private (geschlossene) Gruppen.
die Daten zulassen und den Umfang und die Häufigkeit der
Anfragen protokollieren, verwalten und kontrollieren. Unter schädlichen Inhalten und Verhaltensweisen
verstehen wir ein breites Spektrum von Online-Aktivitäten,
Das ISD definiert Desinformation als falsche oder die negative Auswirkungen auf die Menschenrechte,
irreführende Informationen, die mit der Absicht verbreitet die Gesellschaft und/oder die Demokratie haben
werden, zu täuschen, wirtschaftliche und/oder politische können. Diese können von der gezielten Belästigung
Vorteile zu erzielen und Schaden zu verursachen. Wenn von Einzelpersonen über die Anstiftung zu Gewalt
wir uns Informationen beziehen, die unabsichtlich verbre- gegen eine bes t immte G r uppe bis hin zur
itet werden, verwenden wir den Begriff Misinformation. Verbreitung von Desinformationen und schädlichen
Verschwörungsideologien reichen. In einigen Fällen ist
Extremismus definiert das ISD als die Befürwortung einer das Schadensrisiko bereits mit dem Inhalt selbst verbun-
Weltanschauung, die die Überlegenheit und Dominanz den, wobei die Gefahr durch dessen Verbreitung noch
einer identitätsbasierten Eigengruppe über alle verstärkt wird. In anderen Fällen wird die Schadensgefahr
Fremdgruppen propagiert. Extremismus beinhaltet somit eher durch aggregierte Verhaltensmuster als durch die Art
eine Dehumanisierung der „Anderen“, die mit Pluralismus des Inhaltes selbst verursacht. Je nach geografischem und
und universellen Menschenrechten unvereinbar ist. rechtlichem Kontext können verschiedene Formen
schädlicher Inhalte oder Verhaltensweisen illegal sein oder
Wir definieren fragmentierte Plattformen als solche, bei nicht. Und je nach Plattform können schädliche Inhalte
denen auf Online-Inhalte theoretisch ohne technologis- oder Verhaltensweisen auch durch die Community-
che oder ethische Hindernisse zugegriffen werden kann, Guidelines, Standards oder Regeln eines Unternehmens
die aber dennoch nicht schnell oder systematisch durch- abgedeckt sein oder nicht.
sucht werden können, z. B. über eine API. Relevante Inhalte
müssen daher manuell aus einer großen Menge anderer Unter Verschlüsselung versteht man den Prozess der
Inhalte herausgesucht werden. Chiffrierung von Informationen, so dass sie für jede und
jeden außer den angegebenen Empfänger:innen unver-
Unter Hass versteht das ISD Überzeugungen oder ständlich sind.
Praktiken, die eine ganze Gruppe von Menschen aufgrundErforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 5 Bei Verschwörungsideologien handelt es sich um Erklärungsversuche für bestimmte Phänomene, indem ein finsteres, von mächtigen Akteur:innen inszeniertes Komplott heraufbeschworen wird. Verschwörungen werden als geheim oder esoterisch dargestellt, wobei sich die Anhänger:innen einer Theorie als die wenigen Eingeweihten sehen, die Zugang zu verborgenem Wissen haben. Die Anhänger:innen von Verschwörungsideologien sehen sich in der Regel in direkter Opposition zu den Mächten, die das vermeintliche Komplott inszenieren.
6 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
Einleitung
V iele Personen und G emeinschaf ten , die Kommunikationstechnologien oder Nachrichtendienste)
Extremismus, Hass und Desinformation verbreiten, beschränkt. Die zunehmende Popularität öffentlicher
ziehen sich von den etablierten Plattformen der Online-Räume, insbesondere einiger weniger dominanter
sozialen Medien zurück. Stattdessen nutzen sie ein Social-Media-Plattformen, hat es einem breiten Spektrum
breiteres und vielfältigeres Spektrum von Online- von Forscher:innen ermöglicht, verschiedene Formen von
Räumen mit noch weniger Moderation, bzw. Online-Gefahren zu verfolgen, zu analysieren und –
Plattformen, die mehr Privatsphäre, Sicherheit und hoffentlich – zu bekämpfen. Doch dieser Trend könnte sich
Anonymität bieten. In diesem Bericht werden die nun umkehren. Mehrere soziale und technologische
Ergebnisse der ersten Scoping-Phase eines vom Entwicklungen – das Wachstum von Plattformen, die sich
Omidyar Network geförderten und vom Institute for ideologisch gegen Moderation stellen, das Aufkommen
Strategic Dialogue (ISD) und CASM Technology ins neuer Technologien, z. B. Blockchain, Augmented und
Leben gerufenen Projekts vorgestellt, um diese Virtual Reality (AR/VR) sowie künstliche Intelligenz und die
Online-Räume zu identifizieren und geeignete zunehmende Nutzung verschlüsselter Plattformen für
Forschungsmethoden zu entwickeln. private Nachrichtenübermittlung – können in einer Art
und Weise zusammenwirken, die es schwieriger macht,
In Phase II des Projekts werden die Erkenntnisse aus der schädliche Online-Aktivitäten zu bekämpfen.
Scoping-Phase auf die Untersuchung von drei kleinen
Plattformen in englischer, französischer und deutscher Der vorliegende Bericht befasst sich mit diesen
Sprache angewendet, um das Verständnis der Forschung Herausforderungen sowie den Methoden und
darüber zu erweitern, welche Methoden (mit bestehen- Werkzeugen, die den Forscher:innen zur Verfügung
dem Datenzugriff) auf diese Online-Räume anwendbar stehen. Nach einer allgemeinen Einführung in die Aufgabe,
sind. In der dritten und letzten Phase des Projekts teilt das schädliche Inhalte und Verhaltensweisen im Internet zu
ISD die Erkenntnisse aus den Phasen I und II mit politischen identifizieren, werden in Kapitel 1 der Ablauf und die
Entscheidungsträger:innen. Um die Forschungsergebnisse Ergebnisse unserer Rahmenuntersuchung beschrieben.
sowie die Auswirkungen auf die Transparenz der Der Fokus liegt darauf, die aktuelle Landschaft der Online-
Plattformen und den Datenzugriff mit Vertreter:innen der Plat t formen und -Apps zu er fassen, die bei
Regierung, der Regulierungsbehörden, der Forschung und Gemeinschaften beliebt sind, die Extremismus, Hass und
des privaten Sektors zu diskutieren beruft es einen runden Desinformation verbreiten. Darauf aufbauend stellen wir in
Tisch mit Expert:innen ein,. Auf der Grundlage unserer Kapitel 2 drei Arten von Hindernissen für die Forschung
Ergebnisse werden wird zu überlegen seint, wie die rechtli- bzw. den Datenzugriff vor, die diese Plattformen aufwei-
chen und regulatorischen Rahmenbedingungen sen; außerdem betrachten wir die aktuellen und
angepasst werden müsste, um mit der zunehmenden (potenziellen) künftigen Auswirkungen dieser Hindernisse
Bandbreite und technologischen Vielfalt der Online- für die Forschungsgemeinschaft, für politische
Plattformen Schritt zu halten und gleichzeitig die Entscheidungsträger:innen und Unternehmen. Kapitel 3
grundlegenden Rechte auf Privatsphäre, Sicherheit und g ibt einen Über blick über drei allgemeine
Anonymität im Internet zu respektieren und zu schützen. Forschungsmethoden, potenziellen Stärken und
Schwächen der einzelnen Methoden sowie über Tools. In
Unser Ziel ist es, die Verbreitung schädlicher Inhalte und Kapitel 4 schlagen wir Fallstudien zu Plattformen und
Verhaltensweisen im Internet zu verstehen und zu potenzielle Forschungsansätze zur Überwindung dieser
bekämpfen. Die Verbreitung schädlicher Inhalte hat mith- Hindernisse vor, die in Phase II des Projekts erprobt werden
ilfe verschiedener Kanäle schon immer viele Formen sollen. Kapitel 5 präsentiert mögliche Zukunftsszenarien
angenommen. Durch die Etablierung und Nutzung des – von pessimistisch bis optimistisch – für Forscher:innen
Internets hat es in den letzten Jahrzehnten jedoch eine und diejenigen, die schädliche Inhalte und
wichtige technologische Revolution gegeben: nämlich die Verhaltensweisen im Internet bekämpfen, und schlägt
zunehmende Möglichkeit, Kommunikationsdaten system- eine Reihe von ersten Empfehlungen für politische
atisch zu sammeln, zu speichern und präzise zu Entscheidungsträger:innen, Plattformen und die
durchsuchen. Ursprünglich erforderte dies einen speziel- Forschungsgemeinschaft vor. In den Anhängen zu diesem
len Zugriff auf Daten und war daher weitgehend auf Bericht werden schließlich die vollständigen Ergebnisse
ausgewählte Gruppen (z. B. Eigentümer:innen von der Untersuchung vorgestellt und mögliche ethische,Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 7
rechtliche und sicherheitsrelevante Risiken im rechtlichem Kontext können verschiedene Formen
Zusammenhang mit der Erforschung dieser Online- schädlicher Inhalte und Verhaltensweisen illegal sein oder
Plattformen weiter untersucht.1 nicht. Während einige Formen in den meisten Kontexten
illegal sind (z. B. terroristische Inhalte oder Material zum
Schädliche Inhalte und Verhaltensweisen im Internet sexuellen Missbrauch von Kindern), können die Gesetze für
andere Formen wie z. B. Hassrede, von Land zu Land sehr
Schädliche Inhalte und Verhaltensweisen können unterschiedlich sein. Viele Akteur:innen, die schädliche
ein breites Spektrum von Aktivitäten umfassen, von Inhalte verbreiten, sind sich der rechtlichen Grenzen
Online-Belästigung und Anstiftung zu Gewalt bis bewusst und achten darauf, eine verschlüsselte oder
hin zur Verbreitung von Desinformationen und implizite Sprache zu verwenden, um nicht in die Illegalität
Verschwörungsideologien. Das Risiko ergibt sich in abzugleiten. Die zunehmende Erkenntnis, dass viele
manchen Fällen aus den Inhalten selbst; in anderen Fällen Formen legaler Inhalte dennoch erheblichen Schaden
wird der Schaden eher durch Verhaltensmuster, als durch anrichten können, hat zu Diskussionen darüber geführt,
die Art des Inhalts verursacht. Bei schädlichen wie wie Des- und Misinformationen durch Regulierung
Verhaltensweisen im Internet sind einzelne Inhalte bekämpft werden können, z. B. durch das Gesetz über
vielleicht nicht besonders schädigend an sich, aber die digitale Dienste der EU2 oder die Online Safety Bill3 des
s ys tematische Ver breitung von ungepr üf ten Vereinigten Königreichs.
Informationen oder polarisierenden Darstellungen kann
sich in der Summe als gefährlich erweisen. Belästigung ist Auch private Unternehmen legen „Community Guidelines“
ein besonders relevantes Beispiel dafür. Während einzelne fest. Dabei handelt es sich um Standards oder Regeln, die
provokative oder feindselige Inhalte nicht unbedingt zu erlaubte Inhalte und Verhaltensweisen auf der jeweiligen
erheblichem Schaden führen, kann Belästigung, wenn sie Plattformumreißen. Diese Richtlinien decken in der Regel
Teil eines Verhaltensmusters ist, das sich in großen zumindest illegale Inhalte oder Verhaltensweisen in jenen
Mengen oder über einen längeren Zeitraum gegen Rechtsgebieten ab, in denen das Unternehmen tätig ist.
bestimmte Personen oder Gemeinschaften richtet, Viele große Social-Media-Plattformen gehen sogar noch
Journalist:innen, Aktivist:innen, Politiker:innen oder weiter und verbieten andere Formen schädlicher, jedoch
Mitglieder marginalisierter Gemeinschaften von der legaler Aktivitäten. Auch wenn die genauen Definitionen,
Teilnahme am öffentlichen Geschehen im Internet Grenzwerte und Durchsetzungsmaßnahmen sich untersc-
abhalten. heiden, haben sich die Richtlinien, Standards und Regeln
vieler großer Unternehmen unter dem Druck von
Bestimmte Inhalte und Verhaltensweisen können die Werbetreibenden, der Zivilgesellschaft, des Gesetzgebers
Menschenrechte von marginalisierten Gruppen verletzen, und der Nutzer:innen dahingehend angenähert, dass sie
das Vertrauen in demokratische Institutionen und ein ähnliches Spektrum an legalen, aber potenziell schädli-
Grundsätze untergraben und es schwierig machen, in chen Aktivitäten untersagen.4
politischen Debatten eine gemeinsame Basis zu finden.
Dabei kann es sich um eindeutig ideologische Inhalte (z. B. Im Gegensatz dazu haben wir bei unseren Untersuchungen
gewalttätige extremistische Inhalte), allgemeinere erhebliche Unterschiede in den Gemeinschaftsrichtlinien,
gesellschaftliche Themen mit politischen Implikationen Standards und Regeln bei vielen der kleineren Plattformen
(z. B. frauenfeindliche „Incel“i -Inhalte) oder auch unpoli- festgestellt, die das breitere Online-Ökosystem
tische, aber schädliche Inhalte (z. B. die Förderung von ausmachen. Verschiedene Plattformen nehmen teilweise
Selbstverletzungen) handeln. Je nach geografischem und radikal unterschiedliche Positionen zu diversen Formen
sogenannter „legaler, aber schädlicher“ Aktivitäten ein.
i Incels (kurz für „unfreiwillig zölibatär“) bilden eine Online-Subkultur, Einige verbieten illegale Aktivitäten nur in jenem
deren überwiegend männliche Anhänger der Ansicht sind, dass sie von Rechtsgebiet, in dem sie ansässig sind, während andere
sexuellen Beziehungen ausgeschlossen werden bzw. dass Frauen sie als
nicht begehrenswert empfinden. Incel-Gemeinschaften verbreiten oft
noch weitergehen. Diese Abweichung lässt sich auf unter-
sehr frauenfeindliche Ideen, und Anhänger der Subkultur haben bereits schiedliche Faktoren zurückführen. Einige Plattformen
einige Anschläge mit mehreren Todesopfern verübt; siehe O’Donnell, verfügen möglicherweise nicht über ausreichende
Catharina und Shor, Eran, „“This is a political movement, friend”: Why Ressourcen, um umfassendere Regeln einzuführen und
“incels” support violence“, The British Journal of Sociology, 73(2), Januar
2022, https://onlinelibrary.wiley.com/doi/10.1111/1468-4446.12923. durchzusetzen (z. B. Plattformen, die nur geringe oder gar8 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
keine Einnahmen oder Gewinne erzielen). Andere
Plattformen haben vielleicht ein eher uneingeschränktes Abb. 1: Wichtige Forschungsentscheidungen zur
Verständnis von Meinungsfreiheit. Darüber hinaus gibt es Untersuchung schädlicher Inhalte oder
auch Plattformen, die eine ideologische Haltung einneh- Verhaltensweisen im Internet
men, z. B. solche, die speziell für extremistische
Gemeinschaften eingerichtet wurden (u. a. rechtsextreme
Relevante Inhalte/
Foren wie Iron March oder Fascist Forge).5
Verhaltensweisen?
Wenn schädliche Inhalte und Verhaltensweisen schnell
genug erkannt werden, können rechtliche, technische
oder andere Maßnahmen ergriffen werden, um den mögli-
chen Schaden zu begrenzen. Beispielsweise können Relevante Plattformen?
Plattformen eine Reihe von Maßnahmen ergreifen, um die
entsprechenden Inhalte oder Konten zu entfernen oder
einzuschränken, wenn gegen ihre Regeln verstoßen wird.6
Die Urheber:innen könnten auch nach nationalem Recht Hindernisse?
angeklagt werden, wenn sie die Grenze zur Illegalität über-
schritten haben. Selbst wenn die Inhalte bereits im Umlauf
sind, kann das Aufspüren schädlicher Inhalte dazu beitra-
gen, wirksame Gegenargumente zu entwickeln und die Methoden/ Tools?
Verbreitung so einzudämmen. Ganz allgemein kann das
Wissen um schädliche Aktivitäten Trends, Techniken und
Tools aufzeigen, die zur Entwicklung solcher Botschaften
verwendet werden, und somit dazu beitragen, ebenjene
Ethische, rechliche und
Inhalte und Verhaltensweisen im Allgemeinen besser
sicherheitsrelevante Risiken?
vorherzusagen, zu erkennen und zu bekämpfen.
Schädliche Inhalte und Verhaltensweisen aufspüren
Digitale Technologien haben wesentlich zum einfacheren Mehrere Forschungsansätze ergänzen sich gegenseitig.
Auffinden und Sammeln von Daten beigetragen. Eine Beispielsweise können Forscher:innen durch die Suche
Reihe von Werkzeugen hat die Suche erheblich erleich- nach bestimmten Schlüsselwörtern oder Inhalten zu
te r t , d a r u nte r S u c h m a s c h i n e n w i e G o og l e , einem neuen Online-Raum geführt werden, wo sie neue
plattformspezifische Technologien wie CrowdTangleii Schlüsselwörter oder Themen für ihre Suche entdecken.
oder Twitter Advanced Search, marketingorientierte Oft haben solche Inhalte ihren Ursprung in speziellen
Social-Listening-Programme für soziale Medien wie Räumen (z. B. in extremistischen Foren), bevor sie auf
Brandwatch oder auch forschungsspezif ische etablierte Plattformen gelangen, wo sie dann eine viel
Technologien wie Method52.iii Die Beobachtung eines größere Verbreitung und ein neues Publikum finden.
breiten Spektrums von Online-Räumen ist wesentlich Ebenso ist belegt, dass Belästigungskampagnen häufig in
unkomplizierter als die physische Infiltration zahlreicher solch spezialisierten Foren koordiniert werden.7 Aus
extremistischer Gruppen. diesem Grund ist es wichtig, eine Kombination aus der
Beobachtung von Online-Nischenräumen und der Suche
nach Inhalten während ihrer Verbreitung zu wählen, um
den Lebenszyklus schädlicher Inhalte zu verfolgen (und
ii Ein von Meta übernommenes Analyse-Tool, das Zugriff zu einigen hoffentlich zu verkürzen). Hindernisse technischer,
(zunehmend begrenzten) öffentlich verfügbaren Daten von Facebook sozialer und/oder rechtlicher Natur können bei der
und Instagram bietet.
Entdeckung bestimmter Inhalte und Verhaltensweisen
iii Method52 ist ein von CASM und der Universität von Sussex entwickeltes
Tool zur Analyse sozialer Medien. Für weitere Informationen siehe oder beim Zugang zu breiteren Online-Räumen diesen
„Technology and Values“, CASM, https://www.casmtechnology.com/ positiven Kreislauf jedoch unterbrechen.
pages/technology.Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 9
Manche Online-Plattformen sind absichtlich so gestaltet, in Kapitel 2 drei generelle Arten von Hindernissen für die
dass der Zugriff auf Daten minimiert wird. Möglicherweise Erforschung und Bekämpfung von schädlichen Inhalten
ist dies nur ein Nebeneffekt anderer Funktionen wie z. B. und Verhaltensweisen vorgestellt.
der Ende-zu-Ende-Verschlüsselung. Es sollte betont
werden, dass Funktionen, die auf eine geschützte, private
und sichere Kommunikation abzielen, im Hinblick auf den
Schutz der Menschenrechte und Privatsphäre große
Vorteile bieten. In autoritären Ländern (aber nicht nur dort)
schützen sichere Kommunikationstechnologien
Aktivist:innen und Dissident:innen vor Überwachung und
staatlichen Eingriffen. Die Bekämpfung schädlicher
Aktivitäten auf Plattformen, die solche Technologien
nutzen, sollte nicht auf Kosten dieser Vorteile gehen.
Zu Beginn eines Projektes zur Erforschung schädlicher
Inhalte oder Verhaltensweisen im Internet müssen eine
Reihe wichtiger Entscheidungen getroffen werden.
Erstens: Welche schädlichen Verhaltensweisen,
Dynamiken oder Narrative sind von Interesse? Zweitens:
Auf welchen Plattformen werden wir sie voraussichtlich
finden? Drittens: Welche Hindernisse stellen die betref-
fenden Plattformen für die Forschung dar? Viertens:
Welche Methoden und Tools stehen zur Verfügung, um
diese Hindernisse zu überwinden? Und schließlich: Welche
ethischen, rechtlichen und sicherheitsrelevanten Risiken
können sich aus diesen Entscheidungen ergeben?iv Diese
Fragen und Entscheidungen werden in den einzelnen
Kapiteln dieses Berichts erörtert. Dabei gilt zu beachten,
dass diese Prozesse oft nicht linear verlaufen, sondern
parallel zueinander, und sich gegenseitig beeinflussen.
Einiges deutet darauf hin, dass die Hindernisse für die
Erforschung schädlicher Inhalte und Verhaltensweisen im
Internet zunehmen. Dieses Problem scheint besonders
dringlich in jenen Online-Räumen, die weniger Moderation
und/oder mehr Privatsphäre, Sicherheit und Anonymität
bieten. Um einen Überblick über die aktuelle Landschaft
von Plattformen und Apps zu erhalten, die bei schädlichen
Gemeinschaften beliebt sind, haben wir eine Liste von
Fallstudienplattformen aus drei aktuellen englisch-, fran-
zösisch- und deutschsprachigen Datensätzen erstellt, die
sich auf Extremismus bzw. Verschwörungsideologien
konzentrieren. Das Verfahren zur Identifizierung dieser
Plattformen sowie die Ergebnisse werden in Kapitel 1
beschrieben. Auf der Grundlage der Plattformen, die in
dieser Phase des Scopings identifiziert wurden, werden
iv Eine ausführliche Erörterung dieser Risiken für Forscher:innen und Organ-
isationen ist in den Anhängen zu diesem Bericht zu finden.10 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
Kapitel 1: Rahmenuntersuchung der Plattformen
Im Hinblick auf die in der Einleitung genannten englisch-, französisch- und deutschsprachige Online-
Themen hat das ISD zunächst eine Liste von Gemeinschaften. Vermutlich gibt es in anderen Sprachen
Plattformen und Apps zusammengestellt, um neue und Länderkontexten noch weitere neue, ebenfalls rele-
und aufsteigende Plattformen zu ermitteln – Orte, vante Plattformen. Aus diesen Gründen sind die
dievon verschiedenen Gemeinschaften im Jahr 2021 Ergebnisse nicht repräsentativ für die gesamte
genutz wurden, umExtremismus, Hass oder Desinformations- und Hasslandschaft im Internet,
Desinformation zu verbreiten. Außerdem sind die sondern beschränken sich auf die in die Analyse einbez-
Hindernisse für die Suche nach schädlichen Inhalten ogenen Gemeinschaften und Sprachen.
auf diesen Plattformen erfasst und kategorisiert
worden. Ein alternativer Ansatz könnte eine breitere Auswahl an
Plattformen als Ausgangspunkt nehmen, z. B. geschloss-
Als Grundlage für die Analyse verwendete das ISD eine ene oder verschlüsselte Messaging-Plattformen wie
sogenannte Seed-List von Akteur :innen und WhatsApp. Dieser Ansatz würde jedoch zusätzliche
Gemeinschaften auf Facebook, Instagram, Twitter, YouTube, ethische und rechtliche Bedenken auf wer fen.
Reddit, 4chan, Telegram und Gab. Diese Liste wurde aus Nutzer:innen verwenden diese Dienste in der Annahme,
früheren Forschungsprojekten über Desinformation, Hass dass ihre Gespräche privat bleiben. Der Zugriff auf diese
und extremistische Gruppen auf Französisch,8 Englisch9 geschlossenen Bereiche könnte ethische und möglicher-
und Deutsch zusammengestellt.10 Diese im Jahr 2021 weise rechtliche Risiken mit sich bringen, da ein
zusammengestellten Datensätze enthielten Listen von zusätzliches Maß an Einmischungerforderlich wäre.
Akteur:innen und Gruppen, die Desinformationen und Alternativ hätte eine Auswahl von Plattformen aus der
Verschwörungsideologien über COVID-19 und Impfstoffe vorhandenen Literatur und bestehenden ethnografis-
verbreitet haben und/oder an rechtsextremen oder anti- chen Untersuchungen zur Identifizierung von Alt-
semitischen Aktivitäten beteiligt waren.v Anhand dieser Tech-Plattformen, die anfällig für den Missbrauch durch
Datensätze konnte das ISD alle URLs zu anderen extremistische Gruppen sind, abgeleitet werden können
Plattformen ermitteln, die von diesen Gruppen genutzt – obwohl dies die Gefahr mit sich bringt, dass nur die
werden, und systematisch die häufigsten Plattformen bekanntesten Plattformen berücksichtigt werden. Beide
auflisten, auf die die Gemeinschaften verlinkten. Ansätze könnten in Zukunft verwendet werden, um die
von uns zusammengestellte Liste zu ergänzen; für
Diese Methodik ist mit einigen Vorbehalten verbunden. die ersten Untersuchungen der ermittelten allgemeinen
Der Ausgangspunkt dieser Studie umfasste nur Bedrohungen war diese Liste jedoch mehr als
Plattformen und Gemeinschaften, die für Forscher:innen ausreichend.
bereits zugänglich waren und beinhaltete keine
geschlossenen oder verschlüsselten Plattformen und Im Zuge der Analyse wurden 35 Plattformen in franzö-
keine geschlossenen Messaging-Apps. Darüber sischsprachigen Ländern, 31 in deutschsprachigen und
hinaus lag der Schwerpunkt unserer Seed-Liste auf 21 in englischsprachigen Ländern identifiziert.vi
rechtsextremen und verschwörungsideologischen Um verschiedene Arten von Hindernissen für die
Akteur:innen; möglicher weise wandern andere Forschung zu ermitteln, sind diese Plattformen anhand
Gemeinschaften und Gruppen (z. B. islamistische ihres Inhalts, technologischen Eigenschaften, Umfangs
Extremist:innen) ebenfalls von Mainstream-Plattformen und ihrer relevanten Nutzungsregeln kategorisiert worden.
ab, aber zu einer Reihe von anderen Alt-Tech-Plattformen. Als Schlüsselelemente für die Kategorisierung haben
Schließlich konzentrierte sich unsere Seed-Liste auf wir auch die Einstellung der Plattformen zum Datenschutz
und zur freien Meinungsäußerung betrachtet, die
v Da die Datensätze aus in den letzten Jahren durchgeführten, aber anhand der Äußerungen ihrer Gründer:innen,
unterschiedlichen Projekten stammten, umfassten sie unterschiedliche der Unternehmensrichtlinien und/oder der Art ihres
Zeiträume und waren von unterschiedlichem Umfang. Die englischspra-
chigen Daten umfassten 2,5 Millionen Beiträge zwischen dem 1. Januar
Nutzerkreises bewertet wurde.
2021 und dem 30. November 2021, die deutschsprachigen Daten
umfassten 659.000 Beiträge zwischen dem 1. Januar 2021 und dem 12.
September 2021, und die französischsprachigen Daten umfassten 2
Millionen Beiträge zwischen dem 31. Juli 2020 und dem 31. Januar 2021. vi Siehe Anhang: Plattform-Scoping-Daten – Linkzählungen für die vollstän-
dige Liste sortiert nach Sprachen.Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 11
Um diese erste Liste von Plattformen einzugrenzen und Fragmentierungshindernisse in den öffentlichen
die für unsere Untersuchung relevantesten zu ermitteln, Gruppen aufweisen, zumal die Forschung auf
entwickelten wir einen Kodierungsboden und kodierten der Plattform nur Server für Server und nicht
jede Plattform nach ihren Eigenschaften. Dieser systematisch durchgeführt werden kann.
Kodierungsbogen enthielt allgemeine Informationen zu
• Odysee, da sie sowohl Fragmentierung als auch
jeder Plattform, wie z. B. die Anzahl der Nutzer:innen
technologische Hindernisse aufweist.
weltweit, den Zweck der Plattform, das Gründungsdatum
und die Frage, ob sie klare Moderationsregeln verfolgt, • Kik, weil der Inhalt von Chats mit den bestehenden
insbesondere in Bezug auf Hassrede und Desinformation. Methoden und Werkzeugen nicht zugänglich ist und
Darüber hinaus ermittelten wir, ob die einzelnen somit ein technologisches Hindernis darstellt.
Plattformen über Geschäftsbedingungen für die
• Eine Reihe weiterer Plattformen, die sowohl
Datennutzung durch externe Parteien verfügen und
technologische als auch ethische Hindernisse
geschlossene Gruppen anbietet.
besitzen (nandbox, Hoop Messenger, Riot, Minds und
Rocket.Chat).
Die technologischen Eigenschaften der einzelnen
Plattformen wurden ermittelt, um etwaige Hindernisse • Vimeo, DLive und Spotify, da die Beschränkungen bei
für deren Erforschung zu bewerten. Zu diesen der Analyse audiovisueller Inhalte (und im Fall von
Eigenschaften gehört, ob die Plattform über eine DLive die Verwendung der Blockchain-Technologie)
Suchfunktion und/oder eine API verfügt, ob sie verschlüs- technologische Hindernisse darstellen.
selt ist oder neue Technologien wie AR/VR oder Blockchain
einsetzt. Schließlich wurden Hindernisse für das Auffinden
schädlicher Inhalte festgestellt und in drei Kategorien
eingeteilt, auf die in den folgenden Kapiteln näher
eingegangen wird:
• Technologische Eigenschaften, die den Zugriff auf
Daten blockieren/beschränken
• Ethische und rechtliche Fragen, mit denen die
Forscher:innen sich auseinandersetzen mussten
• Fragmentierung der Inhalte auf verschiedenen
Plattformen, was eine effiziente und systematische
Datenerfassung erschwerte
Da das Ziel dieser Untersuchung letztlich darin bestand,
Hindernisse für die Forschung zu ermitteln, beschränkten
wir die Auswahl der Plattformen auf diejenigen, die mind-
estens eines der drei Hindernisse aufwiesen. So kamen wir
auf insgesamt 15 Plattformen in den drei Sprachen. Unter
diesen Plattformen schlossen wir folgende ein:
• Traditionelle soziale Medien und Messaging-Apps mit
geschlossenen Gruppen wie Facebook, VK, Telegram
und WhatsApp, da das Vorhandensein von privaten
Gruppen zusätzliche ethische Herausforderungen
mit sich bringt.
• Discord, weil diese Plattform ethische
Hindernisse in den geschlossenen Gruppen und12 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
Englisch
Telegram Minds Discord Facebook VK
Leitung Pawel Durow Bill Ottman Jason Citron Mark Zuckerberg Wladimir Kirijenko
(CEO) (CEO) (CEO) (CEO) (CEO)
Anzahl der Nutzer: 500 Mio. 2,5 Mio. 350 Mio. 2,89 Mrd. 460 Mio.
innen weltweit
Klare Richtlinien nur gegen die Ja Ja Ja Richtlinien gegen
Inhaltsrichtlinien? Verbreitung von Gewalt Terror, Propaganda
und illegaler Pornografie und Hassrede, aber
nicht gegen
Desinformation
Zweck Alternative Chat-Platt- Alternative zu Facebook, Kommunikation für Soziales Netzwerk Soziales Netzwerk
form zur Vermeidung da diese eine große Men- Gamer:innen
staatlicher Überwachung ge an Daten sammelt
Gründungsjahr 2013 2011 (Start 2015) 2015 2004 2006
Bedingungen für die Ja Verbietet den Erlaubt kein Data-Mining Ja Ja
Datennutzung? Datenexport bzw. Datenextraktion
Embedded Analytics? Nein Ja Ja Ja Ja
Aufzeichnung der Ja Ja Ja Ja Ja
Domainregistrierung
verfügbar?
Geschlossene Ja (Ende-zu-Ende-Ver- Nein Ja Ja Ja
Gruppen? schlüsselung bei Chats)
Fragmentierungs- Nein Nein Ja Nein Nein
hindernisse?
Ethische und recht- Ja, geschlossene Ja, geschlossene Ja, geschlossene Ja, geschlossene Ja, geschlossene
liche Hindernisse? Gruppen Gruppen Gruppen Gruppen Gruppen
Technologische Nein Ja, Ende-zu-Ende- Nein Nein Nein
Hindernisse? Verschlüsselung und
Blockchain
Suchfeld? Ja Ja Ja Ja Ja
API? Ja Ja Ja Ja Ja
Link zur API https://core.telegram. https://gitlab.com/ https://support.discord. https://developers.face- https://vk.com/dev
org/ minds/engine com/hc/en-us/artic- book.com/docs/pages/
les/212889058-Discord-
s-Official-API
Verschlüsselt? Gruppen und Kanäle Ja Ja, Standardverschlüs- Nein Nein
verwenden Cloud-Ver- selung
schlüsselung; Chats
verwenden Ende-zu-En-
de-Verschlüsselung
Neue Technologien? Nein Ja, Blockchain Nein Ja, VR Nein
Anmerkungen Sammelt Statistiken
über das Nutzerver-
halten. Data-Mining der
populärsten Konten
und gelegentliches Ver-
öffentlichen der Daten.
Gibt keine persönlichen
Informationen weiter.Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 13
Deutsch
DLive Hoop Messenger nandbox Odysee Riot/Element Rocket.Chat WhatsApp
Leitung Justin Sun (CEO) Sahand Adilipour Hazem A. Maguid Julian Chandra Matthew Hodgson Gabriel Engel Mark
(President) (CEO) (CEO) (CEO und CTO) (CEO) Zuckerberg (CEO)
Anzahl der 5 Mio. Unklar Unklar 8,7 Mio. 35 Mio. 12 Mio. 2 Mrd.
Nutzer:innen
weltweit
Klare Inhalts- Ja Ja Ja Ja, aber nicht für Nein, bietet aber Ja, aber nicht für Ja
richtlinien? Desinformation Leitlinien für Mo- Desinformation
derator:innen und Hassrede
Zweck Live-Streaming Sichere Nachrich- Sichere Nachrich- Dezentrale Platt- Dezentralisierte, Sichere Nachrich- Nachrichten-
tenübermittlung tenübermittlung form zur gemein- sichere Nachrich- tenübermittlung übermittlung
samen Nutzung tenübermittlung
von Videos
Gründungsjahr 2017 2014 2016 2020 2016 (als Riot) 2015 2009
Bedingungen Ja, gibt Daten an Gibt keine Daten Gibt keine kom- Gibt keine persön- Nur in Ausnah- Nein Gibt Daten an
für die Dritte weiter weiter, es sei merziellen Daten lich identifizierba- mefällen zur andere Meta-
Datennutzung? denn, dies ist weiter, kooperiert ren Daten weiter, Einhaltung der Unternehmen
gesetzlich vor- aber mit den stellt aber anony- gesetzlichen und an Dritte
geschrieben Strafverfolgungs- misierte Daten zur Bestimmungen weiter
behörden Verfügung
Embedded Ja Ja Ja Ja Ja Ja Ja
Analytics?
Aufzeichnung Ja Ja Ja Ja Ja Ja Ja
der Domain-
registrierung
verfügbar?
Geschlossene Nein Ja Ja Nein Ja Ja Ja
Gruppen?
Fragmentie- Nein Nein Nein Ja Nein Nein Nein
rungs-
hindernisse?
Ethische und Nein Ja Ja Nein Ja Ja Ja
rechtliche
Hindernisse?
Technologische Ja, audio-visuell Ja, Ja, Ja, audio-visuell Ja, Ende-zu-Ende- Ja, Ja
Hindernisse? Verschlüsselung Verschlüsselung Verschlüsselung Verschlüsselung
Suchfeld? Ja Ja Ja Ja Ja (öffentliche Nein Nein
Räume)
API? Ja Nein Ja Nein Ja Nes Nein
(größtenteils)
Link zu API https://docs.dlive. Keine Angaben https://api.nand- Keine Angaben https://element. https://developer. https://www.
tv/api/ box.com/#nand- io/developers rocket.chat/refe- whatsapp.com/
box-api rence/api business/api
Verschlüsselt? Nein Ja Ja Nein Ja Ja Ja
Neue Ja, Blockchain Nein Nein Ja, Blockchain Ja, dezentrales Nein Nein
Technologien? Protokoll
Anmerkungen Kanäle können
gelöscht werden14 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
Französisch
Spotify Vimeo Kik
Leitung Daniel Ek (CEO) Anjali Sud (CEO) Ted Livingston (CEO)
Anzahl der Nutzer:innen weltweit 173 Mio. (Premium-Abonnenten) 175 Mio. 300 Mio.
Klare Inhaltsrichtlinien? Ja, aber nicht für Desinformation Ja, einschließlich Desinformation zu Ja
ausgewählten Themen
Zweck Audio-Streaming Hosting und gemeinsame Nachrichtenübermittlung
Nutzung von Videos
Gründungsjahr 2006 2004 2010
Bedingungen für Gibt anonymisierte Daten an Nein Nein
die Datennutzung? Forscher:innen weiter
Embedded Analytics? Ja Ja Ja
Aufzeichnung der Ja Ja Ja
Domainregistrierung verfügbar?
Geschlossene Gruppen? Nein Nein Nein
Fragmentierungs-hindernisse? Ja Nein Nein
Ethische und rechtliche Nein Nein Nein
Hindernisse?
Technologische Hindernisse? Ja, Audiomaterial Ja, audio-visuelles Material Ja, Inhalt nicht zugänglich
Suchfeld? Ja Ja Ja, aber für Nutzer:innen,
nicht für Inhalte
API? Ja Ja Ja
Link zu API https://developer.spotify.com/ https://developer.vimeo.com/api/ https://kik.readthedocs.io/
documentation/web-api/ reference en/latest/api.html
Verschlüsselt? Ja, Musik Nein Nein
Neue Technologien? Nein Nein NeinErforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 15
Kapitel 2: Drei Hindernisse
In diesem Paragraf stellen wir drei generelle Arten analysieren können, hat erhebliche Auswirkungen
von Forschungshindernissen vor. Die einzelnen auf die Art der Analyse, die durchgeführt werden
Hindernisse schließen sich dabei nicht gegenseitig kann. Textdaten von traditionellen Social-Media-
aus. Obwohl wir uns in erster Linie auf die Plattformen wie Facebook, Instagram, Twitter und
Auswirkungen der einzelnen Arten von Hindernissen, VK können relativ leicht untersucht werden, vor
auf das Auff inden schädlicher Inhalte und allem wenn eine systematische Suchfunktion zur
Verhaltensweisen konzentrieren, bringt jedes dieser Verfügung steht (z. B. über eine API); überwiegend
Hindernisse zusätzliche Herausforderungen für die audiovisuelle Plattformen wie YouTube oder Audio-
Bekämpfung der Auswirkungen solcher Aktivitäten Plattformen wie Spotify stellen jedoch zusätzliche
mit sich; einige dieser Herausforderungen werden wir Herausforderungen dar, da Video- und Toninhalte
ebenfalls kurz vorstellen. Es gibt nur sehr wenige nicht auf dieselbe Weise durchsucht bzw. analysiert
Fälle, in denen diese Hindernisse die Durchführung werden können. Audiovisuelle Inhalte für AR/VR-
von Recherchen auf einer bestimmten Plattform Technologien werden zunehmend entwickelt, und es
völlig unmöglich machen. Im nächsten Kapitel unter- gibt bereits Hinweise darauf, dass sie zur Verbreitung
suchen wir eine Reihe von Methoden und schädlicher Inhalte oder zur Belästigung anderer
Werkzeugen, die zur Überwindung dieser Hindernisse Nutzer:innen verwendet werden. Dies könnte sich
beitragen können. in Zukunft noch erheblich verstärken, wenn sich
diese Art von Technologien weiter durchsetzt.11 Der
Hindernis 1: Technologie Echtzeitcharakter und die flüchtige Natur von AR/
VR-Aktivitäten stellt auch eine Herausforderung für
Die Technologie kann den Datenzugriff erheblich systematischere Datenerfassungsansätze dar.
verbessern, sie kann ihn aber auch einschränken.
Plattformen können absichtlich Technologien verwenden, • KI-generierte Inhalte: Wie das Beispiel der „Deep
die den Zugriff auf Daten einschränken, oder sie auch Fakes“ zeigt, werden die von künstlicher Intelligenz
andere technologische Eigenschaften aufweisen, die erzeugten Inhalte immer glaubwürdiger. Die
unbeabsichtigt Hindernisse für Forscher:innen schaffen. Geschwindigkeit, mit der neue Inhalte entwickelt
Die technologischen Eigenschaften bestimmter Inhalte werden können, erschwert eine systematische
können die Fähigkeit von Forscher:innen einschränken, Datenerhebung.
systematische, groß angelegte Datenanalysen • Dezentralisierung: Dies ermöglicht den
durchzuführen. Plattformen, ohne zentrale Verwaltung zu operieren,
und kann die Optionen der Administrator:innen
Einige dieser Technologien sind vielleicht schon bekannt, einschränken, Inhalte zu entfernen oder
stellen aber immer noch ein Hindernis dar, andere Nutzer:innen zu sperren – insbesondere solche, bei
wiederum sind neu oder werden gerade entwickelt. denen schädliche Verhaltensmuster festgestellt
Zu den Technologien gehören: wurden. Neben dezentralisierten Plattformen
gibt es auch Projekte, die eine dezentralisierte
• Verschlüsselung: Bei der Verschlüsselung werden Kommunikation zwischen Plattformen ermöglichen
Inhalte für alle außer bestimmten Empfänger:innen sollen.vii Die Dezentralisierung kann daher zu
unverständlich gemacht. Eine systematische einer weiteren Fragmentierung führen und
Datenerfassung für Forscher:innen ist nicht möglich, die Möglichkeiten für einen systematischeren
wenn die Absender:innen bzw. Empfänger:innen Datenzugriff für Forscher:innen verringern.
keinen Zugriff gewähren.
• Blockchain: Hierbei handelt es sich um eine
• Neue Formate: Bestimmte Inhalts- oder Technologie, mit der Ereignisse (z. B. wer wann
Datenformate, insbesondere Audio- und welche Inhalte veröffentlicht hat) in einem
audiovisuelle Formate, lassen sich (noch) nicht unveränderlichen Ledger (englisch für „Hauptbuch“)
so gut systematisch durchsuchen und speichern
wie Text. Die Art der Inhalte bzw. der Daten, die
vii Siehe den Ecosystem Review, der vor der Einführung des dezentralen
Forscher:innen auf einer Plattform sammeln und Twitter-Protokolls Bluesky erstellt wurde.16 Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen
aufgezeichnet werden. Dies befähigt dazu, den Zusätzliche technologische Herausforderungen
aktuellen, wahren Zustand eines Systems zu bei der Eindämmung schädlicher Inhalte und
ermitteln, indem der aktuelle Stand des Ledgers Verhaltensweisen
konsultiert wird, ohne dass menschliche Vermittlung
erforderlich ist. Eine Blockchain kann daher für Die Bandbreite dieser Herausforderungen ist so groß
die Dezentralisierung eingesetzt werden (z. B. bei wie die Bandbreite der neuen Technologien. Einige
Plattformen wie Riot). Die Blockchain-Technologie Beispiele sind:
wird auch häufig zur Unterstützung von Zahlungen
in Kryptowährungen verwendet, was zunehmend • Neue Formate: Es ist denkbar, dass neue,
von Plattformen genutzt wird, um es Nutzer:innen möglicherweise auf AR/VR basierende Formen von
zu ermöglichen, Inhalte direkt zu monetarisieren, Inhalten, sich als viel ansprechender und effektiver
anstatt sich auf Werbung zu verlassen (z. B. Odysee bei der Radikalisierung des Publikums erweisen
und LBRY). Diese finanziellen Anreize bergen die und/oder schädlichen Inhalten zu einer größeren
Gefahr, dass die Verbreitung schädlicher Inhalte Verbreitung oder Wirkung verhelfen. Der Marktdruck
zu einem Geschäftsmodell wird, das sich aufgrund könnte dazu führen, dass die Plattformen nicht
seiner Abhängigkeit von der Blockchain-Technologie bereit sind, die Einführung neuer Technologien
als besonders resistent gegenüber Regulierung zu verlangsamen, selbst wenn sie mit solchen
oder Eindämmung erweisen könnte. Aus Sicht der Problemen konfrontiert werden.
Forschung ist die systematische Erfassung von Daten • KI-generierte Inhalte: Dies könnte dazu führen,
aus blockchainbasierten Plattformen noch relativ dass sich Inhalte schneller verbreiten, als sie
neues Territorium. Da teilweise blockchainbasierte bekämpft werden können. Die Automatisierung
Plattformen wie Odysee nicht über öffentliche APIs (z. B. durch „Bots“) wird bereits jetzt genutzt, um
verfügen, ist auch unklar, welche Daten verfügbar schädliche Inhalte schnell zu vervielfältigen und zu
werden könnten und ob im Laufe der Datenerhebung verbreiten. Eine höherstehende KI könnte über die
möglicherweise weitere Hindernisse auftauchen. Vervielfältigung hinausgehen und die Mutation von
Inhalten unter Beibehaltung ihrer ursprünglichen
Viele dieser Technologien stellen Hindernisse für bestim- Bedeutung ermöglichen.
mte Formen des Datenzugriffs dar und können von
• Blockchain: Eine besonders strikte Nutzung der
Plattform zu Plattform variieren. Betrachten wir zum
Blockchain-Technologie könnte die Löschung
Beispiel einen verschlüsselten Telegram- oder Signal-
von Inhalten durch eine zentralisierte Behörde
Chat im Vergleich zu einer privaten Facebook-Gruppe:
unmöglich oder nahezu unmöglich machen
Obwohl beide ähnliche ethische Fragen aufwerfen
(z. B. eine Situation, in der zuwiderhandelnde
(wie zuvorerörtert), dürfte die Verschlüsselung von
Nutzer:innen der Löschung ihrer Inhalte zustimmen
Telegram oder Signal für Forscher:innen, die einen ethno-
müssten), auch wenn sich die Frage stellt, wie dies
grafischen Ansatz verfolgen, im Vergleich zu einer
in Verbindung mit rechtlichen Anforderungen
unverschlüsselten, privaten Facebook-Gruppe keine
funktionieren würde.12
zusätzlichen Probleme aufwerfen; in beiden Fällen muss
die Erlaubnis der anderen beteiligten Nutzer:innen
eingeholt werden, um den Zugriff zu erhalten. Für
d i e U nte r n e h m e n s e l bs t , a l s a u c h f ü r d i e
Strafverfolgungsbehörden und Nachrichtendienste,
stellt die Verschlüsselung jedoch zusätzliche technolo-
gische Hindernisse dar: ein privater und verschlüsselter
Telegram- bzw. Signal-Chat ist ohne die Erlaubnis der
beteiligten Nutzer:innen unzugänglich; Meta könnte
jedoch gegen den Willen der Administrator:innen den
Zugriff auf Daten aus der privaten, aber unverschlüs-
selten Facebook-Gruppe erzwingen.Erforschung des sich im Wandel begriffenen Online-Ökosystems: Hindernisse, Methoden und zukünftige Herausforderungen 17
Hindernis 2: Ethik und Recht Gruppenmitglieder überhaupt, dass es einen Forscher
bzw. eine Forscherin in ihrem Chat gibt und haben sie ihre
Der Zugriff auf Daten aus Online-Räumen, insbesondere Zustimmung gegeben, an einer Forschung teilzunehmen?
die Sammlung und Verarbeitung dieser Daten, kann ethis- Haben sich die Forscher:innen möglicherweise durch
che Fragen aufwerfen, z. B. ob die Privatsphäre der Nutzer Täuschung Zutritt zur Gruppe verschafft?
verletzt wird oder die Verwendung von Daten oder Inhalten
ohne Zustimmung der Nutzer:innen legitim ist. Dies kann Ähnliche ethische Probleme können bei der Erforschung
auch zu Verstößen gegen ethische Forschungspraktiken, von Discord auftreten. Der API-Client von Discord ermögli-
Geschäftsbedingungen der Plattformen oder sogar gegen cht es Forscher:innen, sich mit einem Server zu verbinden
das Gesetz führen. Für akademische Forscher:innen, die und Nachrichten aus den Kommunikationskanälen
oft strenge ethische Genehmigungsverfahren durchlaufen („Channels“) live zu erfassen sowie historische Nachrichten
und einschlägige rechtliche Anforderungen einhalten zu sammeln. Zwei Möglichkeiten stehen den
müssen, kann diese Herausforderung besonders groß Forscher:innen zur Verfügung, um sich mit einem Server
sein. Die Strafverfolgungsbehörden (und in vielen Ländern verbinden, die jeweils ein unterschiedliches Maß an
die Nachrichtendienste) unterliegen ebenfalls zusätzli- Täuschung erfordern. Im ersten Fall muss ein Bot-Konto
chen rechtlichen Beschränkungen für den Zugriff auf und manuell von einem Server-Administrator bzw. einer
die Nutzung von personenbezogenen Daten. Dies ist aus Server-Administratorin (z. B. von der Person, die den Server
einer Vielzahl von Gründen wünschenswert, vor allem erstellt hat, oder von einer anderen Person, die über diese
wegen des Menschenrechts auf Privatsphäre und der Rechte verfügt) zum Server hinzugefügt werden;
Gewährleistung eines ordnungsgemäßen Verfahrens. diese Person hat die Möglichkeit, einen solchen
Das Recht auf Privatsphäre ist zwar nicht absolut, Zugang zu verweigern. Außerdem wird der Bot in der
Ausnahmen müssen jedoch im Rahmen der Benutzerliste eindeutig als solcher gekennzeichnet, was
Rechtsstaatlichkeit gerechtfertigt sein. Folglich insbesondere in Gemeinschaften, die sensible Themen
können Datenschutzbestimmungen die Möglichkeit diskutieren, Verdacht erregen könnte. Die zweite
einschränken, schädliche Inhalte zu finden. Einige Möglichkeit besteht darin, einen Bot hinter einem
Forscher:innen haben argumentiert, dass die weltweite normalen Benutzerkonto laufen zu lassen (ein so
Zunahme von Datenschutzgesetzen – allen voran die genannter „Self-Bot“). In diesem Fall treten die
Datenschutz-Grundverordnung (DSGVO)viii in der EU und Forscher:innen dem Server als normale Benutzer:innen bei
die von der DSGVO abgeleiteten Gesetze in anderen (z. B. mit einem Einladungslink), und der Bot gibt sich
Ländern – Plattformen einen zusätzlichen Anreiz geben anschließend als dieser Benutzer bzw. diese Benutzerin
könnte, Daten nicht weiterzugeben.13 aus; dieses betrügerische Verhalten verstößt jedoch gegen
die Nutzungsbedingungen von Discord ,was eine zusätzli-
Messaging-Apps wie WhatsApp sind ein drängendes, aktu- che ethische Herausforderung darstellt.
elles Beispiel. Über WhatsApp wird eine große Menge an
Inhalten ausgetauscht , darunter Formen der Bei Messaging-Apps, die als Hauptbestandteil ihres
Desinformation, Aufrufe zur Gewalt und andere schädliche Marktangebots ausdrücklich mehr Privatsphäre und
Inhalte. Für Forschende, die Mitglieder einer WhatsApp- Sicherheit versprechen als Mainstream-Optionen wie
Gruppe sind, ist das Sammeln von Daten unglaublich WhatsApp, sind diese Probleme möglicherweise noch
einfach: WhatsApp verfügt über eine einfache Funktion gravierender. Plattformen, die einen stärkeren Fokus auf
zum Exportieren des gesamten Chatverlaufs als Textdatei. die Privatsphäre ihrer Nutzer:innen versprechen, haben
Aber wie sind die Forscher:innen dieser Gruppe beigetre- ebenfalls Gemeinschaften angezogen, die Extremismus,
ten? Haben sie die ausdrückliche Erlaubnis aller Mitglieder Hass oder Desinformationen verbreiten. So hat beispiels-
eingeholt, den Inhalt der Gruppe für Forschungszwecke weise MeWe, das 2012 von Mark Weinstein gegründet
zu nutzen (was die Teilnehmer:innen möglicherweise wurde – einem Verfechter des Schutzes der Privatsphäre
zur Selbstzensur veranlassen würde)? Wissen die – großen Erfolg bei Verschwörungsideolog:innen und
Rechtsextremist:innen.14 Kik, ein anonymer Instant-
viii Die DSGVO ist eine Verordnung der Europäischen Union zur Regelung des Messaging-Dienst, wird Berichten zufolge genutzt, um die
Datenschutzes. Sie regelt die Erhebung, Speicherung und Übertragung sexuelle Ausbeutung von Kindern zu erleichtern.15 Wie im
personenbezogener Daten und hat daher wichtige Auswirkungen auf die
Online-Forschung. vorherigen Kapitel über technologische HindernisseSie können auch lesen
