Was ist ein Textklassifikator und wie entscheidet er?

Die Idee in einem Satz

Ein Textklassifikator ist ein Programm, das einen Text liest und sagt, zu welchen Kategorien er gehört. Ein Spamfilter ist ein Klassifikator mit zwei Kategorien (Spam, kein Spam). Ein Moderationsmodell ist ein Klassifikator mit mehreren: toxisch, Beleidigung, Hass, Drohung, sexuelle Inhalte, Selbstverletzung und so weiter.

Von Regeln zum Lernen

Die ersten Klassifikatoren waren Regellisten: „Wenn die Nachricht dieses Wort enthält, blockiere sie.“ Sie sind schnell und leicht zu erklären, scheitern aber in zwei Richtungen:

• sie übersehen alles, was nicht auf der Liste steht (eine neue Beleidigung, einen Tippfehler, eine andere Sprache);
• sie blockieren harmlose Nachrichten, die zufällig ein Wort der Liste enthalten („der Killerwal“, ein Zitat, ein Scherz unter Freunden).

Einem Klassifikator mit maschinellem Lernen gibt man keine Regeln. Man gibt ihm Tausende Beispiele mit der richtigen Antwort, die Menschen geschrieben haben, und er lernt selbst, welche Muster zählen. Deshalb erkennt er auch eine Beleidigung, die er nie gesehen hat, in einem Satz, den niemand so vorhergesehen hat.

Was herauskommt: ein Wert, kein Urteil

Für jede Kategorie gibt der Klassifikator eine Wahrscheinlichkeit zwischen 0 und 1 zurück:

Nachricht	toxic	insult	threat
„was für ein Spiel heute Abend“	0.01	0.00	0.00
„du bist ein Idiot“	0.98	0.97	0.01
„ich mach dich im Finale fertig 😄“	0.12	0.03	0.08

Ein Wert ist keine Entscheidung. Um zu entscheiden, vergleicht man ihn mit einer Schwelle: darüber wird die Nachricht markiert, darunter nicht. Die Schwelle zu wählen heißt abzuwägen zwischen übersehenen schädlichen Nachrichten und fälschlich markierten harmlosen, und dafür gibt es einen eigenen Leitfaden.

Mehrere Kategorien gleichzeitig

Eine Nachricht kann zugleich Beleidigung und Drohung sein. Moderationsmodelle sind meist Multi-Label: Jede Kategorie bekommt einen eigenen, unabhängigen Wert, statt dass ein einziger Gewinner gewählt wird. In VigiMod zum Beispiel zählen Beleidigung, Hassangriff oder Drohung auch als toxisch.

Wie er lernt

Das Training läuft ungefähr so ab:

1. Das Modell liest ein Beispiel und erzeugt Werte.
2. Seine Werte werden mit dem Label verglichen, das Menschen vergeben haben.
3. Seine internen Zahlen (die Gewichte) werden leicht angepasst, damit die Antwort beim nächsten Mal etwas näher liegt.
4. Das wiederholt sich über Hunderttausende Beispiele.

Am Ende hat das Modell die Beispiele nicht auswendig gelernt: Es hat eine innere Vorstellung davon aufgebaut, was eine Nachricht beleidigend, bedrohlich oder harmlos macht. Moderne Klassifikatoren beginnen mit einem Sprachmodell, das Text bereits allgemein versteht (siehe wie Sprachmodelle Text lesen), und werden dann mit Moderationsbeispielen feinabgestimmt (Fine-Tuning).

Wo Klassifikatoren sich irren

• Daten, die sie nie gesehen haben. Ein Modell, das vor allem mit englischen Chats trainiert wurde, ist auf Türkisch oder Koreanisch schwächer.
• Verzerrte Beispiele. Waren harmlose Sätze mit bestimmten Namen oder Identitäten im Training selten, verbindet das Modell diese Namen womöglich mit etwas Schädlichem. Zu Bias gibt es einen eigenen Leitfaden.
• Fehlender Kontext. „Er stirbt am Ende“ ist für sich harmlos und in einem Chat über eine Serie ein Spoiler. Klassifikatoren, die das Gespräch mitlesen, schneiden besser ab.
• Falsche Labels. Sind die Trainingsbeispiele falsch beschriftet, lernt das Modell die Fehler.

In der Praxis

Ein guter Klassifikator ist ein schneller, gleichbleibender erster Leser. Er bewertet jede Nachricht in Millisekunden, sodass Menschen nur die zweifelhaften ansehen müssen. Behandle seine Werte als Hinweise, wähle Schwellen, die zu deiner Community passen, und lass bei ernsten Maßnahmen wie Sperren einen Menschen entscheiden.