Falsch-Positive und Falsch-Negative in der Content-Moderation

Zwei Arten, falsch zu liegen

Ein Moderationssystem kann genau zwei Arten von Fehlern machen:

• Ein Falsch-Positiv markiert etwas Harmloses: „morgen mach ich die Prüfung platt“ als Drohung behandelt, das Zitat einer Beleidigung als Beleidigung.
• Ein Falsch-Negativ lässt etwas Schädliches durch: eine versteckte Drohung, eine Beleidigung mit kreativer Schreibweise, eine höflich formulierte Hassnachricht.

Was sie kosten

Fehler	Kosten für die Community
Falsch-positiv	verärgerte Nutzer, das Gefühl, überwacht zu werden, Zeit der Moderatoren, manchmal Abgänge
Falsch-negativ	Schaden für die betroffene Person, toxische Stimmung, rechtliches und Image-Risiko

Die Kosten sind nicht symmetrisch und hängen von der Community ab. In einem Raum für Minderjährige ist ein übersehener Grooming-Versuch viel schlimmer als zehn Fehlalarme. Auf einem Gaming-Server verdirbt es den Spaß, jede freundschaftliche Stichelei zu markieren.

Warum man nicht beide mit einem Regler beseitigt

Die Schwelle verschiebt Fehler von einer Spalte in die andere: Senkt man sie, werden Falsch-Negative zu richtigen Treffern, aber es entstehen mehr Falsch-Positive. Bei einem gegebenen Modell gibt es immer einen Kompromiss.

Woher typische Falsch-Positive kommen

• Fehlender Kontext: Scherze unter Freunden, Antworten, Spoiler (siehe Kontext in der Moderation).
• Übertreibungen: „ich will sterben, morgen hab ich drei Klausuren 😭“ ist Stress, keine Selbstverletzung.
• Zitate und Gegenrede: Wer eine Beleidigung meldet oder verurteilt, zitiert sie.
• Identitätswörter: Namen, Nationalitäten oder Religionen, die in harmlosen Trainingsbeispielen selten waren (Bias).

Woher typische Falsch-Negative kommen

• Verschleierung: „1d10t“, zusätzliche Leerzeichen, Emojis statt Wörter.
• Indirekter Schaden: Drohungen ohne gewalttätige Wörter, Belästigung verteilt auf viele höfliche Nachrichten.
• Neuer Slang und Sprachen, die das Modell kaum gesehen hat.

Wie man beide niedrig hält

1. Ein besseres Modell mit den richtigen Daten: der einzige Weg, beide zugleich zu verbessern.
2. Kontext: Schicke die vorherigen Nachrichten mit, nicht nur die letzte.
3. Abgestufte Maßnahmen: Entferne nur eindeutige Fälle automatisch, gib zweifelhafte an einen Menschen weiter.
4. Rückmeldung: Sammle Beispiele für Fehler; sie sind die wertvollsten Daten für die nächste Version.