Die Erkennung unangemessener Inhalte im Internet: KI-Verfahren, Evaluierung und Herausforderungen - De Gruyter
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Bibliotheksdienst 2020; 54(3–4): 214–226 Themen Thomas Mandl Die Erkennung unangemessener Inhalte im Internet: KI-Verfahren, Evaluierung und Herausforderungen Identifying inappropriate content on the internet – AI methods, evaluation results and challenges https://doi.org/10.1515/bd-2020-0035 Abstract: In sozialen Medien finden sich sehr oft aggressive und hasserfüllte Posts. Deren automatische Erkennung ist wünschenswert und wird derzeit intensiv erforscht. Die Qualität der entsprechenden Algorithmen muss laufend bewertet werden. Der Artikel berichtet von Evaluierungsergebnissen und den Her- ausforderungen im Rahmen der HASOC Initiative 2019. Davor werden die neuro- nale Netzwerk-Architekturen wie beispielsweise BERT eingeführt, die derzeit die besten Ergebnisse liefern. Schlüsselwörter: Text-Klassifikation, Soziale Medien, KI, Hate Speech, Evaluie- rung Abstract: In social media, aggressive and hateful posts are rather frequent. It is desirable to identify such content automatically and much research is dedicated to this area. The quality of recognition algorithms needs to be constantly moni- tored. This article reports evaluation results and the challenges within the HASOC initiative 2019. In the first instance, neural network architectures are introduced, as they currently deliver the best result for hate speech recognition. Within the HASOC dataset, the BERT system classified posts with an accuracy of around 80 per cent. Keywords: Text classification, social media, AI, hate speech, evaluation Prof. Dr. Thomas Mandl: mandl@uni-hildesheim.de
Die Erkennung unangemessener Inhalte im Internet 215
1 Hate Speech in Sozialen Medien
Soziale Medien und Online-Kommunikation haben sich als ein bedeutender Teil
der Lebensrealität vieler Bürger etabliert. Diese freie und medial vermittelte Form
der Meinungsäußerung scheint viele Menschen zu radikalen Beträgen zu ver-
führen. Hetze und Hass-schürende Texte stehen lange online und werden von
vielen schon als Bedrohung des sozialen Friedens wahrgenommen (Hajok & Selg
2018). Ebenso stören Falschmeldungen, automatisch erzeugte Beträge, politi-
sches Microtargeting und aggressive Drohungen gegen Einzelne einen rationa-
len, öffentlichen Diskurs und gefährden so die demokratische und pluralistische
Meinungsbildung. Mehrere Studien gehen davon aus, dass Meinungen an den
extremen Rändern des Spektrums häufiger auftreten. Dies ergab sich am Beispiel
bei der Diskussion um das Unabhängigkeitsreferendum in Katalonien (Ghanem et
al. 2019). Kontrovers diskutiert wird, inwiefern diese Polarisierung eine Folge der
Digitalisierung von Kommunikationsgewohnheiten darstellt.
Das kontroverse Urteil im Fall der Politikerin Künast im Jahr 2019 zeigt die
Schwierigkeiten bei der Abgrenzung, der rechtlichen Bewertung bei der Abwä-
gung gegenüber der Meinungsfreiheit und die öffentliche Meinungsbildung zu
der Thematik. Deshalb reflektiert die Politik schon länger mögliche Gegenmaß-
nahmen, die beispielsweise in die Maßnahmen der EU gegen Desinformation
münden (Kettemann 2019).
Angesichts der laufend produzierten Mengen an Texten und Kommentaren
erweist sich der Einsatz von automatischen Verfahren, die oft generell als KI-Me-
thoden gelten, als unausweichlich. Das im Oktober 2019 ergangene Urteil des
EUGH hält den Einsatz von automatisierten Verfahren sogar für notwendig. So
fordert der Gerichtshof, Hass-Äußerungen, die sinngleich zu bereits als proble-
matisch erkannten Posts sind, auch automatisch zu identifizieren. Gerade bei der
Bewertung von menschlichen Texten durch Computer rückt die ethische Dimen-
sion und vor allem der schmale Grat zwischen Meinungsfreiheit und Zensur in den
Fokus. Die Gesellschaft wird KI-Methoden nur akzeptieren, wenn das Vertrauen
in ihre Ergebnisse gegeben ist (Kuhlen 1999). Marc Zuckerberg hat in seinen vier
Thesen zur Regulierung des Internets gefordert, Hate Speech eindeutig zu definie-
ren (Lewanczik 2019). Jedoch stellt dies eine erhebliche Schwierigkeit dar, da die
Vorstellungen, was schädliche Inhalte sind, zwischen Gesellschaften und Indivi-
duen sehr stark variieren.
Die automatische Erkennung von Volksverhetzung oder Hate Speech etab-
liert sich zunehmend als aktives Forschungsthema. Der Bereich des maschi-
nellen Lernens konnte in den letzten Jahren erhebliche Fortschritte erzielen,
welche die Erkennung erleichtern. Die erfolgreichen Algorithmen suchen nicht
nach einzelnen Wörtern oder mit nachvollziehbaren Regeln nach sprachlichen216 Thomas Mandl
Mustern, sondern bauen aus vielen Beispielen Klassifikationsverfahren auf.
Diese Trainingsdaten enthalten lediglich Beispiele für unangemessene und
akzeptable Inhalte. Die Trainingsmenge an Texten treibt also die Entwicklung.
Davon stark abweichende Daten (etwa in anderen Sprachen) können nach dem
Training nicht erkannt werden. Anhand dieser Datensets kann die Erkennungs-
qualität der Algorithmen überprüft und optimiert werden. Hierfür wurden in
den letzten Jahren einige Datenmengen zusammengestellt. Dieser Artikel stellt
zwei dieser wissenschaftlichen Benchmarks kurz vor und greift einige relevante
Ergebnisse auf. Vorab folgt eine knappe Einführung in die Algorithmen des
Deep Learnings, welche teils erst in den letzten Jahren etabliert wurden.
2 K
I-Verfahren für die Text-Klassifikation
Die Repräsentation von Texten für die Wissensverarbeitung erfolgt traditionell
durch die Verknüpfung mit Wörtern. Seien es wenige Schlagwörter bei einer
intellektuellen Indexierung oder bei Volltext-Suchen im Wesentlichen alle
im Text vorhandenen Wörter bzw. Wortformen. Ein einzelnes Text-Dokument
wird überführt in einen langen Vektor von Zahlen. In diesen steht jede Position
für ein Wort. Zudem haben sich für Ranking-Verfahren einige Gewichtungsver-
fahren wie die „Inverse Dokument-Frequenz“ und Varianten der Längennor-
malisierung etabliert. Diese führen dazu, dass ein System nicht nur binäres
Wissen über das Vorkommen oder Nicht-Vorkommen eines Wortes besitzt
(Henrich 2014).
Klassifikations- oder Clustering-Verfahren verarbeiten diese Vektoren dann
bei maschinellen Lernen. Heute nennt man diese Repräsentationen one hot
encoding-Varianten. Dies signalisiert, dass aus dem gesamten umfangreichen
Vokabular einer Textkollektion für ein einzelnes Dokument nur die vorhande-
nen Wörter (also die inhaltstragenden Merkmale) markiert sind. Alle anderen
Stellen des Vektors sind mit Nullen besetzt und zeigen somit an, dass das ent-
sprechende Wort nicht im Dokument enthalten ist. Das führt z. B. dazu, dass zwei
Wörter immer zueinander unähnlich erscheinen, auch wenn sie in einem engen
Bezug stehen. Bereits seit langem gelangen auch verteilte semantische Repräsen-
tationen zum Einsatz, welche nur sehr viel kürzere Vektoren benötigen. Anders
als bei one hot encodings können die Dimensionen aber nicht einem Wort oder
überhaupt irgendeiner Bedeutung zugeordnet werden. Damit schreiten Systeme
von symbolischen Repräsentationen zur subsymbolischen Ebene, bei der interne
Strukturen nicht mehr eindeutig interpretiert werden können (Smolensky 1988).
Dokumente werden also durch eine Reihe von Zahlen repräsentiert, die sich nichtDie Erkennung unangemessener Inhalte im Internet 217 interpretieren lassen. Die Werte werden zunächst zufällig initialisiert und dann im Lauf eines Lernprozesses so lange modifiziert, bis ähnliche Dokumente auch ähnliche Vektoren aufweisen. 3 Word Embeddings Zunächst wird die Entwicklung verteilter semantischer Repräsentationen für Wörter gezeigt. Sie basiert auf künstlichen neuronalen Netzen, welche gera- dezu als Synonym für Künstliche Intelligenz angesehen werden. Neuronale Netze sind lernfähige Systeme, die Information tolerant und robust verarbeiten und auf sehr einfachen Grundprinzipien beruhen. Wie ihr natürliches Vorbild – die Nervensysteme von Lebewesen – bestehen sie aus zahlreichen einfachen, miteinander verknüpften Prozessoren. Über ihre Verknüpfungen tauschen diese Prozessoren oder Neuronen numerische Informationen in Form von Akti- vierung aus (Kruse et al. 2015). Die Verknüpfungen haben Werte, die ihre Durch- lässigkeit bestimmen. Die Neuronen senden Aktivierung aus, wobei aber nur so viel Aktivierung am nächsten Neuron ankommt, wie die Verknüpfung zulässt. Interessant werden die Verbindungen für das Lernen, denn ihre Wertigkeit ver- ändert sich. Abb. 1: Schematische Darstellung eines künstlichen Neurons.
218 Thomas Mandl
Anfangs zufällig eingestellte Werte für die Verbindungen werden abhängig von
gewünschten Verhalten so lange verändert, bis die Abbildung von Input-Mustern
in Output-Klassen für die Trainingsdaten gut gelingt. Dann gilt der Lernprozess
als abgeschlossen und ein neuronales Netz hat eine Funktion von Input auf
Output gelernt. Dabei kommt vor allem der „Backpropagation Algorithmus“ zum
Einsatz (Kruse et al. 2015). Die Aktivierungsausbreitung läuft darin von einer
Input-Schicht in eine Output-Schicht mit dem gewünschten Ergebnis. Dazwi-
schen liegen versteckte Schichten mit Neuronen, welche die Aktivierung jeweils
weiterleiten und hochgradig mit den anderen Schichten vernetzt sind. Der Lern-
fehler im Output wird ermittelt und anschließend werden davon abhängig die
Gewichte im gesamte Netz so justiert, dass das Ergebnis für dieses Lernbeispiel
etwas besser erreicht wird. Der Vorgang wird sehr oft wiederholt.
Neuronale Netze wurden zwar schon früh für sprachverarbeitende Systeme
und Information Retrieval vorgeschlagen (Mandl 2000), jedoch erst seit ca. 2013
profitieren sie von der inzwischen verfügbaren Rechenkapazität. Erheblichen
Fortschritt bei der Repräsentation der Bedeutung von Wörtern brachten die soge-
nannten Word Embeddings. Ein Klassifikations-Algorithmus versucht dabei,
die sequentielle Abfolge von Wörtern zu erlernen. Dazu werden aus jedem Satz
mehrere Trainingsbeispiele erzeugt. Beispielsweise könnte ein neuronales Netz
versuchen, von drei Wörtern das mittlere vorherzusagen. Ein Wort bedeutet für
Word Embeddings eine Abfolge von meist 300 Zahlen. Aus zwei Wörtern als
Input mit zwei mal 300 Dimensionen soll die Abbildung auf einen Vektor von
300 Zahlen gelernt werden. Nach einer zufälligen Vergabe von Werten für alle
Wörter werden aus sehr großen Textmengen zahlreiche Trainingsbeispiele gewon-
nen. Mit ihnen wird der Vektor jedes Wortes langsam verändert, bis der Fehler
möglichst klein ist. Wenn dies gelingt, kann das System erkennen, welches Wort
am wahrscheinlichsten zwischen den anderen beiden steht. Treten im Kontext
der beiden Eingabe-Wörter häufig verschiedene Wörter auf, so werden diese sehr
ähnliche Vektoren erhalten.
Während Ähnlichkeit von Wörtern im oben beschriebenen Vektorraum-
Modell nur durch das gemeinsame Auftreten in Dokumenten erfasst wird, mo-
dellieren Word Embeddings die Ähnlichkeit aus der Sequenz von Texten. Wörter,
die meist in ähnlicher Nachbarschaft auftreten, konvergieren zu ähnlichen Vek-
toren. Mehrere bereits trainierte Word Embeddings stehen als Download zur Ver-
fügung und können leicht mit wenigen Zeilen in Python genutzt werden (z. B.
GLOVE). Die Erkennung unangemessener Inhalte im Internet 219
Tab. 1: Acht Dimensionen der Word Embeddings für einige Wörter
(aus dem Modell unter https://github.com/devmount/GermanWordEmbeddings).
dumm 0,16 0,111 0,084 0,043 -0,095 0,147 -0,098 -0,016
klug 0,329 -0,043 -0,022 0,162 -0,171 0,028 0,11 -0,232
gut 0,172 -0,427 0,104 0,162 -0,21 0,098 -0,027 -0,195
schlecht 0,219 -0,18 0,121 0,161 -0,015 -0,053 -0,132 -0,346
alt 0,044 -0,135 -0,089 -0,079 -0,275 0,272 0,154 -0,374
neu 0,181 -0,142 0,462 0,028 0,138 -0,07 -0,057 -0,349
Feuer 0,211 0,115 0,23 0,032 0,115 0,18 -0,19 0,298
Tab. 2: Ähnlichkeitsvergleich für einige Wörter auf der Basis von Word Embeddings
(für das Modell unter https://github.com/devmount/GermanWordEmbeddings).
dumm klug gut schlecht alt neu Feuer jung
dumm 1 0,612 0,456 0,609 0,458 0,262 0,192 0,533
klug 0,612 1 0,47 0,443 0,414 0,388 0,177 0,522
gut 0,456 0,47 1 0,781 0,427 0,41 0,217 0,429
schlecht 0,609 0,443 0,781 1 0,385 0,386 0,174 0,399
alt 0,458 0,414 0,427 0,385 1 0,382 0,205 0,723
neu 0,262 0,388 0,41 0,386 0,382 1 0,246 0,352
Feuer 0,192 0,177 0,217 0,174 0,205 0,246 1 0,167
jung 0,533 0,522 0,429 0,399 0,723 0,352 0,167 1
Nicht unbedingt weisen gegensätzliche Begriffe wie alt und neu eine sehr geringe
Ähnlichkeit auf. Dies ist plausibel, da sie ja oft in ähnlichen Kontexten auftreten
und die Word Embeddings aus den Wortsequenzen trainiert werden.
Word Embeddings erzielen schon sehr gute Ergebnisse für viele Anwendun-
gen. Sie zählen zum Paradigma des Deep Learnings, bei dem die beschreibenden
Eigenschaften (die Dimensionen der Vektoren) vom System selbst erlernt und
nicht etwa von einem Experten entwickelt werden. Allerdings fehlt für die Klassi-
fikation oder das Retrieval von Dokumenten noch ein Schritt. Die Repräsentatio-
nen mehrerer Wörter müssen zu einem Dokument zusammengefasst werden. Als
einfacher Ansatz erfolgte hierzu einfach eine Mittelwertbildung der Werte aller
Wort-Vektoren auf jeder Position.220 Thomas Mandl
4 Neuronale Sprachmodelle für Sätze
Eine bessere Variante liefern unter anderem rekursive Sprachmodelle. Die Grund-
idee rekurrenter neuronaler Netze ist schon länger bekannt. Mit moderner Hard-
ware und großen Datenmengen können sie aber ihr Potential erst seit wenigen
Jahren entfalten. Das neuronale Netzwerk lernt die Abbildung aus dem aktuellen
Wort auf das nächste. Es erhält zusätzlich als Input aber noch den bisherigen
Kontext des Satzes, indem die versteckte Schicht als zweiter Input ins Netzwerk
eingeht. Ziel-Output ist immer das folgende Wort bzw. dessen Word Embed-
ding-Vektor. Jedes Wort wird so zu einem Trainingsbeispiel. So baut sich in der
versteckten Schicht eine Repräsentation der Semantik des gesamten Satzes auf
(Kruse et al. 2015).
Im Wesentlichen wird so ein sogenanntes Sentence Encoding erreicht. Anstatt
also nur jeweils ein Wort in einen Vektor zu verwandeln, transformieren die Netz-
werke Sätze in einen Vektor, die meist deutlich mehr Dimensionen umfassen
als die der Word Embeddings. Heute wird die Grundidee der Rekursion in kom-
plexeren Architekturen weiterentwickelt. Dazu zählen etwa die Long-Short Term
Memory-Systeme (LSTM). Im Inneren steht aber immer die einfache Weitergabe
von Aktivierung zwischen Neuronen. Zusätzlich werden in mehrfach geschich-
teten Systemen auch die Abfolgen von Buchstaben und von Sätzen modelliert.
Das neue Verfahren BERT nutzt sogenannte Transformer, die sequentielle Daten
flexibler verarbeiten. BERT steht für „Bidirectional Encoder Representations from
Transformers“. Es gilt seit seiner Einführung 2018 als eine Wunderwaffe der Sprach-
verarbeitung, die sehr gute Resultate liefert. BERT wurde von Google entwickelt und
erzielte bereits gute Ergebnisse für Retrieval-Evaluierungen (Craswell et al. 2019).
Die Suchmaschinen Bing und Google nutzen BERT vermutlich schon produktiv. Bei
den Ergebnissen für Hate Speech-Erkennung spielt es eine gewichtige Rolle.
5 E
valuierungs-Benchmarks für Hate Speech
Die Erkennung von Hate Speech und anderen unangemessenen Inhalten stellt eine
große Herausforderung dar. Die mit hasserfüllten Inhalten verbundenen Themen
können sehr heterogen sein (De Smedt et al. 2018). Somit können Systeme nicht
nur eine thematische Einordnung der Texte vornehmen. Marc Zuckerberg sagte in
einem Interview: „Determining if something is hate speech is very linguistically
nuanced”1. Klare Regeln erbringen in diesem Anwendungsfall also keine Lösung.
1 https://eu.usatoday.com/story/tech/news/2018/04/24/facebook-discloses-secret-guidelines-
policing-content-introduces-appeals/544046002 [Zugriff: 09.01.2020]. Die Erkennung unangemessener Inhalte im Internet 221
Besondere Bedeutung für die Entwicklung von Systemen haben die Trai-
nings-Ressourcen, mit denen die oben vorgestellten neuronalen Netze oder
andere Klassifikationssysteme trainiert werden. Zunehmend werden Ressour-
cen erarbeitet und dann in sogenannten Shared Tasks für die Community zur
Verfügung gestellt. So lassen sich die Ergebnisse verschiedener Algorithmen
fair vergleichen und die Ergebnisse in der Fachöffentlichkeit diskutieren.
Dazu werden reale Tweets oder Posts systematisch gesammelt und in zwei
oder mehrere Klassen kategorisiert. Für das Deutsche wurde im Rahmen der
GermEval-Initiative ein Datenset entwickelt (Struß et al. 2019). Zugrunde lagen
Twitter-Daten, welche die Organisatoren annotieren ließen. GermEval defi-
niert die Klassen ABUSE, INSULT und PROFANITY und die Systeme sollen als
primäre Aufgabe alle Tweets in diese einteilen. Insgesamt umfasst die Menge
über 7.000 Tweets. Dabei überwiegt laut den Organisatoren ganz deutlich das
extrem rechte Spektrum (90 % der Inhalte fallen in diese Kategorie). Die Über-
einstimmung von vier Annotatoren bei GermEval wurde für ein Sample von 300
Tweets gemessen und erreichte einen Kappa-Wert von 0,59, was als moderat gilt
(Struß et al. 2019). Hier zeigt sich, wie schwierig selbst das Finden gemeinsamer
Maßstäbe ist.
Neben dem Einordnen als Hassrede sollen die problematischen Tweets in die
Klassen implizit und explizit sortiert werden. Gemessen wird die Klassifikations-
genauigkeit der Systeme mit dem F1-Maß, welches Recall und Precision zusam-
menfasst. Das beste System erreichte für den binären Task ein F1-Maß von 0,76
(Struß et al. 2019). Insgesamt reichten 12 Teams im Jahr 2019 Ergebnisse für Germ
Eval ein. Die besten sechs Systeme zeigt die Tabelle 3.
Tab. 3: Beste Systeme bei GermEval 2019 im binären Task.
Position Team Run F1 Ansatz
1 Politehnica Univ. of Bucharest 1 0,7695 Self trained BERT
2 Politehnica Univ. of Bucharest 3 0,7695 Self trained BERT
3 Politehnica Univ. of Bucharest 2 0,7686 Self trained BERT
4 TU Wien 1 0,7680 N-gram, ensemble
5 TU Wien 2 0,7675 N-gram, ensemble
6 Hochschule Mittweida 2 0,7663 fastText Embeddings, SVM
Auffällig ist, wie eng die besten Systeme zusammenliegen. Ihr Unterschied beträgt
weniger als ein Prozent. Gleichwohl setzen sie sehr heterogene Systeme ein. Das
erst 2018 eingeführte BERT liefert zwar die beste Performanz, aber weit weniger
aufwendige Systeme kommen dem Spitzenreiter sehr nah.222 Thomas Mandl
Der zweite Benchmark mit Texten für das Deutsche startete 2019. HASOC stellt
eine mehrsprachige Ressource für Hate Speech-Erkennung dar und bietet Daten
für Deutsch, Hindi und Englisch. HASOC steht für Hate Speech and Offensive
Content Identification in Indo-European Languages. Der Track wurde im Rahmen
der FIRE-Konferenz etabliert (Mandl et al. 2019). HASOC 2019 erzielte eine große
Resonanz in der Forschungs-Community und 37 Teams gaben Ergebnisse an die
Organisatoren. 28 Experimente wurden für das Deutsche abgegeben.
Abb. 2: WordCloud aus den HATE und OFFENSIVE Tweets für HASOC Englisch
(erzeugt mit Voyant Tools).
HASOC modelliert die Aufgabe zunächst als binäre Klassifikation. Die als proble-
matisch erkannten Posts sollen dann im zweiten Schritt genauer in die folgenden
Klassen unterteilt werden: HATE, OFFENSIVE und PROFANE. Die Organisatoren
haben für das Deutsche 4.600 Twitter-Tweets und Facebook-Posts annotiert. Bei-
spielhaft werden an dieser Stelle einige Ergebnisse für die binäre Aufgabe für
Englisch und Deutsch vorgestellt. Die Top-Teams für das Deutsche haben über-
wiegend das BERT-System genutzt und liegen recht eng zusammen (Mandl et
al. 2019). Die Erkennung unangemessener Inhalte im Internet 223
Tab. 4: Beste Systeme bei HASOC 2019 für Deutsch (Sub Task A).
Position Team Run Marco F1 Ansatz
1 IIT Kharagpur 1 0,616 BERT, Boosting
2 Univ. des Saarlands 1 0,606 BERT
3 Univ. des Saarlands 2 0,595 BERT
4 Univ. of Illinois & IIT Kanpur 1 0,577 BERT
5 NITK Surathkal 1 0,574 Keine Beschreibung
6 Vellore Institute of Technology, 2 0,552 TF/IDF, Random Forest
Chennai
Für das Englische und für Hindi wurden insgesamt bessere F1-Werte erreicht. Die
Verteilung aller Teilnehmer für zwei verschiedene F1-Maße zeigt Abbildung 3.
Abb. 3: Boxplot der Verteilung der System-Ergebnisse für Englisch (Sub Task A).
Auch bei HASOC liefern die besten Systeme eine ähnlich gute Qualität. Das
oberste Quartil der Systeme liegt eng zusammen. Insgesamt sind die F1-Werte der
besten Systeme denen von GermEval sehr ähnlich. Und wieder erreichen tradi-
tionelle Systeme auch ohne BERT eine Qualität, die nahe an den Top-Systemen
liegt. Um die F1-Werte zu veranschaulichen, zeigt die folgende Tabelle für das
beste Experiment noch detaillierte Ergebnisse bei den beiden wichtigsten Klassen.224 Thomas Mandl
Tab. 5: Anzahl der Treffer und Fehler der besten Systeme.
Englisch HOF NOT
richtig erkannt 210 696
falsch erkannt 89 158
Deutsch HOF NOT
richtig erkannt 50 621
falsch erkannt 86 93
Unklar ist momentan, ob ein F1-Wert um 80 % eine obere Schranke für die Erken-
nung darstellt, da auch Menschen sich oft nicht eindeutig entscheiden können,
was zu Hate Speech zählt. In den kommenden Jahren wird sich zeigen, ob noch
erhebliche Qualitätssteigerungen möglich sind.
Trotz aller Gemeinsamkeiten fallen einige Unterschiede zwischen HASOC und
GermEval auf. Hashtags wurden bei GermEval nicht als problematisch bewertet,
sondern nur der Text war ausschlaggebend (z. B. #crimigrants or #rapefugees).
HASOC ordnete diese als Hate Speech ein, um die Gesamtintention eines Posts
besser zu würdigen.
Fortgeschrittene Sprachmodelle wie Word Embeddings und BERT führen
bei der Identifikation von problematischen Inhalten zu den besten Ergebnissen.
Diese Deep Learning-Verfahren werden in den kommenden Jahren sicher noch
verbessert und für Sprachen und Aufgaben stärker angepasst. Derzeit existiert
beispielsweise noch keine spezifische Variante für Hindi.
Aus Sicht der Benchmark-Entwicklung stellt sich die Frage, wie zuverlässig
die Evaluierung derzeit ist und inwiefern die Ergebnisse auf reale Umgebungen
übertagbar sind. In den kommenden Jahren sind tiefergehende Analysen für
ein besseres Verständnis der Kollektionen und deren Repräsentativität not-
wendig.
6 Fazit
Die Entwicklung von Verfahren zur Erkennung von problematischen Inhalten
stellt eine gesellschaftliche Herausforderung dar. Sei es Terrorpropaganda oder
Frauenhass: Plattformen und auch Bürger sollten in die Lage versetzt werden,
problematische Texte identifizieren zu können. Dies ist ein Beitrag zum souve-
ränen Umgang mit Information. Die Forschung in diesem Feld zeigt ihre soziale
Verantwortung. Sie darf auch nicht nur hinter verschlossenen Türen der Internet- Die Erkennung unangemessener Inhalte im Internet 225
Giganten stattfinden, sondern muss in offenen Foren nachvollziehbar erfolgen.
Nur so kann die Leistungsfähigkeit der Algorithmen angemessen diskutiert und
gesellschaftliche Akzeptanz gewährleistet werden. Gerade die Transparenz
scheint einen wichtigen Beitrag zur Akzeptanz zu leisten (Brunk et al. 2019). Für
demokratische Gesellschaften stellt sich die Herausforderung, wie gegen proble-
matische Inhalte vorgegangen werden soll, ohne die Meinungsfreiheit zu gefähr-
den.
Die Identifikation von Hate Speech stellt ein Beispiel für die zunehmende
Leistungsfähigkeit von Algorithmen dar, die längst auch Texte erzeugen können.
Andere Beispiele für komplexe Klassifikationsleistungen sind die Erkennung
von Ironie, das Finden von Autoren oder von Stilbrüchen in Texten (Daelemans
et al. 2019). Diese KI-Verfahren werden in allen Bereichen ihre Spuren hinter-
lassen, in denen Menschen professionell mit Texten und Wissensrepräsentation
arbeiten.
Literaturverzeichnis
Al-Hassan, Areej; Al-Dossari, Hmood: Detection of hate speech in social networks: A Survey
on multilingual corpus. In: Computer Science & Information Technology, 9.2 (2019),
S. 83–100.
Brunk, Jens; Mattern, Jana; Riehle, Dennis M.: Effect of Transparency and Trust on Acceptance
of Automatic Online Comment Moderation Systems. In: IEEE 21st Conference on Business
Informatics, 1 (2019), S. 429–435.
Craswell, Nick et al.: TREC Overview Deep Learning Track. In: Proceedings 28th Text REtrieval
Conference (2019), https://trec.nist.gov/proceedings/proceedings.html [Zugriff:
09.01.2020].
Daelemans, Walter et al.: Overview of PAN 2019: Bots and gender profiling, celebrity profiling,
cross-domain authorship attribution and style change detection. In: International
Conference of the Cross-Language Evaluation Forum for European Languages. Basel 2019,
S. 402–416.
Devlin, Jacob et al.: BERT: Pre-training of deep bidirectional transformers for language
understanding. In: Proceedings Conference North American Chapter of the Association
for Computational Linguistics. Minneapolis, Minnesota 2019, S. 4171–4186, https://www.
aclweb.org/anthology/N19-1423 [Zugriff: 09.01.2020].
Ghanem, Bilal; Rosso, Paolo; Rangel, Francisco: An Emotional Analysis of False Information
in Social Media and News Articles (2019), https://arxiv.org/abs/1908.09951 [Zugriff:
09.01.2020].
Hajok, Daniel; Selg, Olaf: Kommunikation auf Abwegen? Fake News und Hate Speech in
kritischer Betrachtung. In: JMS Jugend Medien Schutz-Report 41.4 (2018), S. 2–6, https://
www.nomos-elibrary.de/10.5771/0170-5067-2018-4-2.pdf [Zugriff: 09.01.2020].
Henrich, Andreas: Information Retrieval 1 (Grundlagen, Modelle und Anwendungen), https://fis.
uni-bamberg.de/handle/uniba/17569 [Zugriff: 09.01.2020].226 Thomas Mandl
Kettemann, Matthias C.: Internationale Regeln für soziale Medien: Menschenrechte wahren und
Desinformation bekämpfen. In: Global Governance Spotlight 2 (2019), http://hdl.handle.
net/10419/203137 [Zugriff: 09.01.2020].
Kruse, Rudolf et al.: Computational Intelligence: Eine methodische Einführung in Künstliche
Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Basel 2015.
Kuhlen, Rainer: Die Konsequenzen von Informationsassistenten: Was bedeutet informationelle
Autonomie oder wie kann Vertrauen in elektronische Dienste in offenen Informations-
märkten gesichert werden? Frankfurt am Main 1999.
Lewanczik, Niklas: Datenschutz durch Dritte? Zuckerbergs Idee vom global regulierten Internet
(2019), https://onlinemarketing.de/news/datenschutz-dritte-zuckerbergs-global-
reguliertes-internet [Zugriff: 09.01.2020].
Mandl, Thomas: Tolerant information retrieval with backpropagation networks. In: Neural
Computing & Applications, 9.4 (2000), S. 280–289.
Mandl, Thomas et al.: Overview of the HASOC Track at FIRE 2019: Hate Speech and offensive
content Identification in Indo-European Languages. In: Proceedings of the 11th Forum for
Information Retrieval Evaluation (2019), ACM, S. 14–17.
De Smedt, Tom et al.: Multilingual Cross-domain Perspectives on Online Hate Speech. In: CLiPS
Technical Report Series 8 (2018), S. 1–24, https://arxiv.org/abs/1809.03944 [Zugriff:
09.01.2020].
Smolensky, Paul: On the proper treatment of connectionism. In: Behavioral and Brain Sciences
11.1 (1988), S. 1–23.
Struß, Julia Maria et al.: Overview of GermEval Task 2, 2019 Shared Task on the Identification of
Offensive Language. Proceedings of the 15th Conference on Natural Language Processing
(KONVENS 2019), https://ids-pub.bsz-bw.de/files/9319/Struss_etal._Overview_of_
GermEval_task_2_2019.pdf [Zugriff: 09.01.2020].
Vosoughi, Soroush; Roy, Deb; Aral, Sinan: The spread of true and false news online. In: Science
359.6380 (2018), S. 1146–1151.
Prof. Dr. Thomas Mandl
Universität Hildesheim
Institut für Informationswissenschaft und Sprachtechnologie (IWIST)
Lübecker Straße 3
31141 Hildesheim
Deutschland
E-Mail: mandl@uni-hildesheim.de
© Daniel Kunzfeld.Sie können auch lesen
