# Trainingsdaten und Labels: Ein Modell ist nur so gut wie seine Beispiele

> Woher Trainingsdaten für Moderation kommen, warum Labels oft falsch sind, was synthetische Daten und Lehrer-Modelle sind und warum Lizenzen wichtig sind.

Source: https://www.vigimod.com/de/learn/training-data-and-labels · VigiMod (https://www.vigimod.com) · aktualisiert am 2026-11-11 · 6 min

## Kurz gesagt

- Ein Modell lernt aus beschrifteten Beispielen: Die Labels legen fest, was „toxisch“ für es bedeutet.
- Menschen sind sich bei Labels uneinig, besonders bei Hass und Ironie; manche Labels sind schlicht falsch.
- Große Modelle können Beispiele schreiben und beschriften (Lehrer → Schüler), müssen aber geprüft werden.
- Jeder Datensatz hat eine Lizenz: Nicht alle dürfen für ein kommerzielles Produkt genutzt werden.

## Labels sind die Definition

Beim Training sieht ein Modell nie die Wörterbuchdefinition von „Beleidigung“. Es sieht Tausende Nachrichten, die Menschen als Beleidigung markiert haben oder nicht. **Die Labels sind die Definition.** Sind sie widersprüchlich, lernt das Modell eine widersprüchliche Vorstellung.

## Menschen sind sich uneinig

Bei eindeutigen Fällen sind sich alle einig. Bei Hassrede, Ironie, zurückeroberten Schimpfwörtern oder politischen Beleidigungen gehen die Meinungen der Annotatoren oft auseinander. Studien zu Hassrede-Datensätzen finden regelmäßig nur teilweise Übereinstimmung zwischen Menschen, die dieselben Nachrichten beschriften. Übliche Abhilfen:

- mehrere Annotatoren pro Nachricht und eine Mehrheitsentscheidung;
- ausführliche Richtlinien mit Beispielen;
- „strittige“ Fälle getrennt halten, statt ein Label zu erzwingen.

## Manche Labels sind falsch

In großen Datensätzen ist ein Teil der Labels einfach ein Fehler: ein klar toxischer Satz als harmlos markiert, ein Scherz als Drohung. Als wir die Nachrichten prüften, die unser eigenes Modell in einem von Menschen beschrifteten Testdatensatz markierte, war etwa die Hälfte der „Fehlalarme“ in Wahrheit falsch beschriftet. Zwei Folgen:

1. **Training:** Das Modell lernt einige Fehler mit.
2. **Messung:** Selbst ein perfektes Modell wirkt schlechter, als es ist. Seriöse Auswertungen bauen einen bereinigten „Gold“-Testdatensatz.

## Echte Daten, synthetische Daten, Lehrer

- **Echte Nachrichten** von Menschen sind am wertvollsten: echter Slang, echte Fehler, echter Kontext.
- **Synthetische Daten** schreibt ein großes Sprachmodell gezielt, um Lücken zu füllen: Gespräche, in denen der Kontext die Bedeutung ändert, seltene Sprachen, knifflige Regeln.
- **Lehrer → Schüler:** Ein großes Modell (der Lehrer) beschriftet oder schreibt Beispiele, ein kleines, schnelles Modell (der Schüler) lernt daraus. Der Schüler kann bei dieser Aufgabe fast so gut werden wie der Lehrer und dabei hundertfach günstiger laufen. Er übernimmt aber auch die Fehler des Lehrers, deshalb müssen Menschen Stichproben prüfen.

## Lizenzen sind wichtig

Öffentliche Datensätze haben Lizenzen. Manche erlauben kommerzielle Nutzung (CC0, CC-BY, MIT, Apache), andere verbieten sie („nicht kommerziell“), und manche verlangen, dass abgeleitete Werke dieselbe Lizenz tragen („Weitergabe unter gleichen Bedingungen“). Auch die Ausgaben eines Modells können Nutzungsbedingungen haben. Ein Moderationsprodukt muss jede Quelle prüfen, bevor es damit trainiert.

## Vergessen

Wird ein Modell nur mit neuen Daten erneut trainiert, kann es **vergessen**, was es wusste. Die übliche Abhilfe ist **Replay**: einen Teil der alten Trainingsdaten unter die neuen mischen. So kann ein Modell etwas Neues lernen (zum Beispiel [harmlose Sätze mit ausländischen Namen nicht zu markieren](https://www.vigimod.com/de/learn/bias-in-moderation-models)), ohne bei allem anderen schlechter zu werden.

## Quiz

1. Was legt für ein Modell fest, was „Beleidigung“ bedeutet?
   Antwort: Die Labels in seinen Trainingsdaten. Das Modell sieht nur beschriftete Beispiele.
2. Was ist ein „Gold“-Testdatensatz?
   Antwort: Ein Testdatensatz, dessen Labels sorgfältig nachgeprüft wurden. Nachgeprüfte Labels machen Messungen verlässlich.
3. Beim Training Lehrer → Schüler…
   Antwort: lernt ein kleines Modell aus Beispielen, die ein großes geschrieben oder beschriftet hat. Der Schüler wird schnell und günstig, übernimmt aber die Fehler des Lehrers.
4. Wofür wird „Replay“ verwendet?
   Antwort: Damit das Modell beim Training mit neuen Daten altes Wissen nicht vergisst. Alte und neue Daten zu mischen verhindert das Vergessen.