Wie man die Moderationsschwelle wählt

Was eine Schwelle ist

Ein Klassifikator gibt einen Wert von 0 bis 1 (siehe was ist ein Textklassifikator). Die Schwelle ist die Linie, die du ziehst: Wert ≥ Schwelle → markiert. Bei einer Schwelle von 0,8 wird eine Nachricht mit 0,83 für „Beleidigung“ markiert, eine mit 0,79 nicht.

Der Kompromiss

Wer die Schwelle verschiebt, bewegt sich entlang einer Kurve:

Schwelle	Was passiert
Niedrig (z. B. 0,3)	erkennt fast alles (hoher Recall), aber viele Fehlalarme (niedrige Precision)
Mittel (z. B. 0,6)	ein Gleichgewicht
Hoch (z. B. 0,9)	markiert nur eindeutige Fälle (hohe Precision), lässt subtile durch (niedriger Recall)

Es gibt keine Schwelle, die für alle richtig ist. Precision und Recall erklären beide Seiten.

Warum der Standardwert nur ein Anfang ist

API-Anbieter stimmen Standardschwellen auf Validierungsdaten ab, meist an dem Punkt mit dem besten F1. Diese Daten mischen viele Communities. Deine hat ihren eigenen Slang, ihre eigenen Witze und ihre eigene Toleranz: Ein kompetitiver Gaming-Server und ein Hilfeforum für Jugendliche sollten nicht dieselben Zahlen verwenden.

Eine einfache Methode zum Einstellen

1. Sammle 300 bis 500 echte Nachrichten aus deiner Community (mit der Einwilligung, die deine Regeln verlangen), darunter einige, die du entfernen würdest.
2. Beschrifte sie selbst, nach Kategorie: Ist das eine Beleidigung? Eine Drohung?
3. Bewerte sie mit der API und speichere die Werte.
4. Probiere für jede Kategorie einige Schwellen aus (0,5, 0,6, 0,7, 0,8, 0,9) und zähle Fehlalarme und Übersehene.
5. Wähle die Schwelle, deren Fehler du in Kauf nehmen kannst, und schreibe auf, warum.

Mit VigiMod kannst du deine Schwellen dann in jeder Anfrage mitschicken ("thresholds": {"toxic": 0.8, "insult": 0.7}), ohne sonst etwas zu ändern. Siehe die Dokumentation.

Nutze mehr als eine Linie

Du musst nicht zwischen „blockieren“ und „erlauben“ wählen. Ein übliches Muster:

Wert	Maßnahme
≥ 0,95	automatisch entfernen
0,75 – 0,95	ausblenden und an Moderatoren schicken
0,5 – 0,75	erlauben, aber protokollieren
< 0,5	erlauben

So bleiben automatische Maßnahmen für eindeutige Fälle, und Menschen urteilen dort, wo das Modell unsicher ist.

Prüfe von Zeit zu Zeit nach

Sprache verändert sich, neuer Slang entsteht, ein Modell wird aktualisiert. Wiederhole die Prüfung alle paar Monate und immer, wenn du die Modellversion wechselst.