Trainingsdaten und Labels: Ein Modell ist nur so gut wie seine Beispiele

Labels sind die Definition

Beim Training sieht ein Modell nie die Wörterbuchdefinition von „Beleidigung“. Es sieht Tausende Nachrichten, die Menschen als Beleidigung markiert haben oder nicht. Die Labels sind die Definition. Sind sie widersprüchlich, lernt das Modell eine widersprüchliche Vorstellung.

Menschen sind sich uneinig

Bei eindeutigen Fällen sind sich alle einig. Bei Hassrede, Ironie, zurückeroberten Schimpfwörtern oder politischen Beleidigungen gehen die Meinungen der Annotatoren oft auseinander. Studien zu Hassrede-Datensätzen finden regelmäßig nur teilweise Übereinstimmung zwischen Menschen, die dieselben Nachrichten beschriften. Übliche Abhilfen:

• mehrere Annotatoren pro Nachricht und eine Mehrheitsentscheidung;
• ausführliche Richtlinien mit Beispielen;
• „strittige“ Fälle getrennt halten, statt ein Label zu erzwingen.

Manche Labels sind falsch

In großen Datensätzen ist ein Teil der Labels einfach ein Fehler: ein klar toxischer Satz als harmlos markiert, ein Scherz als Drohung. Als wir die Nachrichten prüften, die unser eigenes Modell in einem von Menschen beschrifteten Testdatensatz markierte, war etwa die Hälfte der „Fehlalarme“ in Wahrheit falsch beschriftet. Zwei Folgen:

1. Training: Das Modell lernt einige Fehler mit.
2. Messung: Selbst ein perfektes Modell wirkt schlechter, als es ist. Seriöse Auswertungen bauen einen bereinigten „Gold“-Testdatensatz.

Echte Daten, synthetische Daten, Lehrer

• Echte Nachrichten von Menschen sind am wertvollsten: echter Slang, echte Fehler, echter Kontext.
• Synthetische Daten schreibt ein großes Sprachmodell gezielt, um Lücken zu füllen: Gespräche, in denen der Kontext die Bedeutung ändert, seltene Sprachen, knifflige Regeln.
• Lehrer → Schüler: Ein großes Modell (der Lehrer) beschriftet oder schreibt Beispiele, ein kleines, schnelles Modell (der Schüler) lernt daraus. Der Schüler kann bei dieser Aufgabe fast so gut werden wie der Lehrer und dabei hundertfach günstiger laufen. Er übernimmt aber auch die Fehler des Lehrers, deshalb müssen Menschen Stichproben prüfen.

Lizenzen sind wichtig

Öffentliche Datensätze haben Lizenzen. Manche erlauben kommerzielle Nutzung (CC0, CC-BY, MIT, Apache), andere verbieten sie („nicht kommerziell“), und manche verlangen, dass abgeleitete Werke dieselbe Lizenz tragen („Weitergabe unter gleichen Bedingungen“). Auch die Ausgaben eines Modells können Nutzungsbedingungen haben. Ein Moderationsprodukt muss jede Quelle prüfen, bevor es damit trainiert.

Vergessen

Wird ein Modell nur mit neuen Daten erneut trainiert, kann es vergessen, was es wusste. Die übliche Abhilfe ist Replay: einen Teil der alten Trainingsdaten unter die neuen mischen. So kann ein Modell etwas Neues lernen (zum Beispiel harmlose Sätze mit ausländischen Namen nicht zu markieren), ohne bei allem anderen schlechter zu werden.