Human in the Loop: wie KI und Moderatoren am besten zusammenarbeiten

Unterschiedliche Stärken

	KI	Menschliche Moderatoren
Tempo	Millisekunden, rund um die Uhr	Minuten oder Stunden
Gleichmäßigkeit	immer dieselbe Antwort	hängt von Person und Tag ab
Feinheiten	wird besser, aber begrenzt	Ironie, Vorgeschichte zwischen Nutzern, Absicht
Menge	Tausende Nachrichten pro Minute	einige Hundert pro Schicht
Kosten eines Fehlers	kann ihn überall wiederholen	meist ein Einzelfall

Keines reicht allein. Ziel ist, jedem die Arbeit zu geben, die es am besten kann.

Eine praktische Aufteilung

1. Automatische, umkehrbare Maßnahmen für eindeutige Fälle mit hohen Werten: Nachricht ausblenden, Nutzer verlangsamen, um eine andere Formulierung bitten.
2. Prüfwarteschlange für unsichere Werte: Ein Moderator sieht die Nachricht, ihre Werte und das Gespräch und entscheidet.
3. Nur Menschen für ernste, schwer umkehrbare Maßnahmen: Sperren, Meldungen an Behörden, Entscheidungen über Minderjährige.
4. Einsprüche bearbeitet eine Person, die nicht die erste Entscheidung getroffen hat.

Wie man die Wertebereiche festlegt, steht in die Moderationsschwelle wählen.

Gib Moderatoren den Kontext

Eine Nachricht allein kann einen Menschen genauso täuschen wie ein Modell. Zeige die vorherigen Nachrichten, den Verlauf des Nutzers und warum die Nachricht markiert wurde (welche Kategorie, welche Regel, welcher Wert). Kontext hilft auch Menschen.

Schließe den Kreis

Jede menschliche Entscheidung ist ein Label: „das war ein Fehlalarm“, „das ist durchgerutscht“. Über die Zeit gesammelt, sind diese Entscheidungen die wertvollsten Daten, um Schwellen anzupassen und die nächste Modellversion zu verbessern.

Sei transparent gegenüber den Nutzern

Sag deiner Community, dass Nachrichten automatisch geprüft werden, was passiert, wenn eine Nachricht markiert wird, und wie man Einspruch einlegt. Regeln, die man versteht, werden eher befolgt, und Fehler werden leichter verziehen, wenn man sie korrigieren kann.

Schütze die Moderatoren

Moderatoren sehen die schlimmsten Inhalte. Automatisches Filtern der eindeutigsten Fälle, unscharfe Vorschauen und begrenzte Belastung schützen ihr Wohlbefinden: ein weiterer Grund, der KI den ersten Durchgang zu überlassen.