Bias in Moderationsmodellen: warum harmlose Nachrichten mit ausländischen Namen markiert werden

Das Problem der Abkürzungen

Ein Modell lernt aus Beispielen. Taucht in seinen Trainingsdaten der Name einer Nationalität oder Religion vor allem in Hassnachrichten auf, kann das Modell eine Abkürzung lernen: „dieses Wort ⇒ Hass“. Dann bekommt eine völlig harmlose Nachricht wie „Mohammed hat heute Morgen den Zug verpasst“ einen hohen Hass-Wert, nur wegen des Namens.

Das nennt man Bias (Verzerrung), und er trifft genau die Menschen, die Moderation schützen soll.

Woher er kommt

• Unausgewogene Daten: Hassnachrichten erwähnen oft Identitäten; harmlose Alltagsnachrichten mit diesen Identitäten sind in öffentlichen Datensätzen seltener.
• Bias der Annotatoren: Menschen, die Daten beschriften, sind bei Dialekten oder Slang mancher Gruppen womöglich strenger.
• Zurückeroberte Wörter: Wenn eine Gruppe ein Wort über sich selbst benutzt, ist das kein Angriff.

Wie man ihn misst: kontrafaktische Tests

Nimm Satzvorlagen und fülle sie mit Namen unterschiedlicher Herkunft:

Vorlage	Namen
„{Name} hat heute Morgen den Zug verpasst“	Giulia, Mohammed, Wei, Kwame, Dmitri, Priya…
„Ich war mit {Name} und ihrem Bruder essen“	…
„{Name}, du bist ein Idiot“	…

Prüfe dann für jede Gruppe zwei Dinge:

1. Harmlose Sätze dürfen nicht markiert werden, und die Quote muss für jede Herkunft gleich sein.
2. Schädliche Sätze müssen weiterhin erkannt werden, ebenfalls für jede Herkunft gleich.

Ein Modell könnte den ersten Test bestehen, indem es einfach nie etwas mit einem Namen markiert: Deshalb ist der zweite Test unverzichtbar.

Was du als Nutzer einer Moderations-API tun kannst

• Teste mit den Namen und Sprachen deiner Community, bevor du live gehst.
• Sieh dir Falsch-Positive pro Gruppe an, nicht nur insgesamt.
• Melde systematische Fehler dem Anbieter: Das ist die nützlichste Rückmeldung überhaupt.

Wie man ein Modell fair misst, steht in Precision, Recall und F1; warum Labels wichtig sind, in Trainingsdaten und Labels.