# Falsch-Positive und Falsch-Negative in der Content-Moderation

> Jedes Moderationssystem macht zwei Arten von Fehlern. Was sie sind, was jede eine Community kostet und wie man beide niedrig hält.

Source: https://www.vigimod.com/de/learn/false-positives-and-false-negatives · VigiMod (https://www.vigimod.com) · aktualisiert am 2026-11-11 · 5 min

## Kurz gesagt

- Falsch-positiv: eine harmlose Nachricht, die irrtümlich markiert wird.
- Falsch-negativ: eine schädliche Nachricht, die durchrutscht.
- Wer die eine Art verringert, erhöht meist die andere; die Schwelle bestimmt das Gleichgewicht.
- Kontext, bessere Daten und menschliche Prüfung verringern beide zugleich.

## Zwei Arten, falsch zu liegen

Ein Moderationssystem kann genau zwei Arten von Fehlern machen:

- Ein **Falsch-Positiv** markiert etwas Harmloses: „morgen mach ich die Prüfung platt“ als Drohung behandelt, das Zitat einer Beleidigung als Beleidigung.
- Ein **Falsch-Negativ** lässt etwas Schädliches durch: eine versteckte Drohung, eine Beleidigung mit kreativer Schreibweise, eine höflich formulierte Hassnachricht.

## Was sie kosten

| Fehler | Kosten für die Community |
|---|---|
| Falsch-positiv | verärgerte Nutzer, das Gefühl, überwacht zu werden, Zeit der Moderatoren, manchmal Abgänge |
| Falsch-negativ | Schaden für die betroffene Person, toxische Stimmung, rechtliches und Image-Risiko |

Die Kosten sind nicht symmetrisch und hängen von der Community ab. In einem Raum für Minderjährige ist ein übersehener Grooming-Versuch viel schlimmer als zehn Fehlalarme. Auf einem Gaming-Server verdirbt es den Spaß, jede freundschaftliche Stichelei zu markieren.

## Warum man nicht beide mit einem Regler beseitigt

Die [Schwelle](https://www.vigimod.com/de/learn/choosing-a-threshold) verschiebt Fehler von einer Spalte in die andere: Senkt man sie, werden Falsch-Negative zu richtigen Treffern, aber es entstehen mehr Falsch-Positive. Bei einem gegebenen Modell gibt es immer einen Kompromiss.

## Woher typische Falsch-Positive kommen

- **Fehlender Kontext:** Scherze unter Freunden, Antworten, Spoiler (siehe [Kontext in der Moderation](https://www.vigimod.com/de/learn/context-in-moderation)).
- **Übertreibungen:** „ich will sterben, morgen hab ich drei Klausuren 😭“ ist Stress, keine Selbstverletzung.
- **Zitate und Gegenrede:** Wer eine Beleidigung meldet oder verurteilt, zitiert sie.
- **Identitätswörter:** Namen, Nationalitäten oder Religionen, die in harmlosen Trainingsbeispielen selten waren ([Bias](https://www.vigimod.com/de/learn/bias-in-moderation-models)).

## Woher typische Falsch-Negative kommen

- **Verschleierung:** „1d10t“, zusätzliche Leerzeichen, Emojis statt Wörter.
- **Indirekter Schaden:** Drohungen ohne gewalttätige Wörter, Belästigung verteilt auf viele höfliche Nachrichten.
- **Neuer Slang** und Sprachen, die das Modell kaum gesehen hat.

## Wie man beide niedrig hält

1. **Ein besseres Modell** mit den richtigen Daten: der einzige Weg, beide zugleich zu verbessern.
2. **Kontext:** Schicke die vorherigen Nachrichten mit, nicht nur die letzte.
3. **Abgestufte Maßnahmen:** Entferne nur eindeutige Fälle automatisch, gib zweifelhafte an einen Menschen weiter.
4. **Rückmeldung:** Sammle Beispiele für Fehler; sie sind die wertvollsten Daten für die nächste Version.

## Quiz

1. „Morgen mach ich die Prüfung platt“ als Drohung markiert ist ein…
   Antwort: Falsch-Positiv. Eine harmlose Nachricht, irrtümlich markiert.
2. Eine Drohung mit „umbr1ngen“, die nicht markiert wird, ist ein…
   Antwort: Falsch-Negativ. Eine schädliche Nachricht, die durchgerutscht ist.
3. Eine niedrigere Schwelle…
   Antwort: verringert Falsch-Negative und erhöht Falsch-Positive. Die Schwelle verschiebt Fehler nur von einer Seite zur anderen.
4. Was verringert beide Fehlerarten zugleich?
   Antwort: Ein besseres Modell mit Kontext. Nur ein Modell, das mehr versteht, macht weniger Fehler beider Arten.