# Bias in Moderationsmodellen: warum harmlose Nachrichten mit ausländischen Namen markiert werden

> Moderationsmodelle markieren mitunter „Mohammed hat den Zug verpasst“ als Hass. Woher der Bias kommt, wie man ihn misst und wie man ihn beseitigt.

Source: https://www.vigimod.com/de/learn/bias-in-moderation-models · VigiMod (https://www.vigimod.com) · aktualisiert am 2026-11-11 · 6 min

## Kurz gesagt

- Modelle lernen Abkürzungen: Taucht ein Wort vor allem in schädlichen Beispielen auf, wirkt schon das Wort schädlich.
- Namen, Nationalitäten, Religionen und Identitäten sind die klassischen Opfer.
- Bias misst man mit kontrafaktischen Tests: derselbe Satz, nur der Name ändert sich.
- Behoben wird er mit Daten: viele harmlose Beispiele mit diesen Wörtern, dazu Prüfungen pro Gruppe.

## Das Problem der Abkürzungen

Ein Modell lernt aus Beispielen. Taucht in seinen Trainingsdaten der Name einer Nationalität oder Religion vor allem in Hassnachrichten auf, kann das Modell eine **Abkürzung** lernen: „dieses Wort ⇒ Hass“. Dann bekommt eine völlig harmlose Nachricht wie „Mohammed hat heute Morgen den Zug verpasst“ einen hohen Hass-Wert, nur wegen des Namens.

Das nennt man **Bias** (Verzerrung), und er trifft genau die Menschen, die Moderation schützen soll.

## Woher er kommt

- **Unausgewogene Daten:** Hassnachrichten erwähnen oft Identitäten; harmlose Alltagsnachrichten mit diesen Identitäten sind in öffentlichen Datensätzen seltener.
- **Bias der Annotatoren:** Menschen, die Daten beschriften, sind bei Dialekten oder Slang mancher Gruppen womöglich strenger.
- **Zurückeroberte Wörter:** Wenn eine Gruppe ein Wort über sich selbst benutzt, ist das kein Angriff.

## Wie man ihn misst: kontrafaktische Tests

Nimm Satzvorlagen und fülle sie mit Namen unterschiedlicher Herkunft:

| Vorlage | Namen |
|---|---|
| „{Name} hat heute Morgen den Zug verpasst“ | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| „Ich war mit {Name} und ihrem Bruder essen“ | … |
| „{Name}, du bist ein Idiot“ | … |

Prüfe dann für jede Gruppe zwei Dinge:

1. **Harmlose Sätze** dürfen nicht markiert werden, und die Quote muss für jede Herkunft gleich sein.
2. **Schädliche Sätze** müssen weiterhin erkannt werden, ebenfalls für jede Herkunft gleich.

Ein Modell könnte den ersten Test bestehen, indem es einfach nie etwas mit einem Namen markiert: Deshalb ist der zweite Test unverzichtbar.


## Was du als Nutzer einer Moderations-API tun kannst

- **Teste mit den Namen und Sprachen deiner Community,** bevor du live gehst.
- **Sieh dir Falsch-Positive pro Gruppe an,** nicht nur insgesamt.
- **Melde systematische Fehler** dem Anbieter: Das ist die nützlichste Rückmeldung überhaupt.

Wie man ein Modell fair misst, steht in [Precision, Recall und F1](https://www.vigimod.com/de/learn/precision-recall-f1); warum Labels wichtig sind, in [Trainingsdaten und Labels](https://www.vigimod.com/de/learn/training-data-and-labels).

## Quiz

1. Warum kann ein Modell „Mohammed hat den Zug verpasst“ als Hass markieren?
   Antwort: Es hat eine Abkürzung aus Daten gelernt, in denen der Name vor allem in Hassnachrichten vorkam. Unausgewogene Daten lehren Abkürzungen.
2. Was ist ein kontrafaktischer Test?
   Antwort: Derselbe Satz, bei dem sich nur Name oder Identität ändert. Nur den Namen zu ändern isoliert den Bias.
3. Warum muss man auch schädliche Sätze mit Namen testen?
   Antwort: Ein Modell könnte „bestehen“, indem es nie etwas mit einem Namen markiert. Bias zu beseitigen darf keine blinden Flecken schaffen.