Precision, Recall und F1, erklärt mit Beispielen aus der Moderation

Warum Genauigkeit nicht reicht

Stell dir 1.000 Chatnachrichten vor, davon 20 Beleidigungen. Ein Modell, das nie etwas markiert, liegt 980-mal von 1.000 richtig: 98 % Genauigkeit und völlig nutzlos. Wenn das Gesuchte selten ist, verdeckt die Genauigkeit das Problem. Deshalb misst man Moderation mit Precision und Recall.

Die vier Felder

Jede Entscheidung fällt in eines von vier Feldern:

	Wirklich schädlich	Wirklich harmlos
Markiert	richtig positiv (TP)	falsch positiv (FP)
Nicht markiert	falsch negativ (FN)	richtig negativ (TN)

Ein Falsch-Positiv ist eine harmlose Nachricht, die irrtümlich markiert wurde; ein Falsch-Negativ ist eine schädliche Nachricht, die durchgerutscht ist. Sie kosten unterschiedlich viel, erklärt in Falsch-Positive und Falsch-Negative.

Precision

Precision = TP / (TP + FP)

Wie viel von allem, was das Modell markiert hat, war wirklich schädlich? Eine niedrige Precision bedeutet viele Fehlalarme: Deine Moderatoren verschwenden Zeit und deine Nutzer ärgern sich.

Recall

Recall = TP / (TP + FN)

Wie viele aller schädlichen Nachrichten hat das Modell erkannt? Ein niedriger Recall bedeutet viele Übersehene: Schädliche Inhalte bleiben im Chat.

Ein Rechenbeispiel

Von 1.000 Nachrichten sind 20 Beleidigungen. Das Modell markiert 25 Nachrichten: 18 sind echte Beleidigungen, 7 sind harmlos.

• TP = 18, FP = 7, FN = 20 − 18 = 2
• Precision = 18 / 25 = 0,72
• Recall = 18 / 20 = 0,90

Das Modell erkennt fast jede Beleidigung, aber etwa jede vierte Markierung ist ein Fehlalarm.

F1: eine Zahl für beide

F1 = 2 × Precision × Recall / (Precision + Recall)

F1 ist das harmonische Mittel der beiden: Er ist nur hoch, wenn beide hoch sind. Im Beispiel ist F1 = 2 × 0,72 × 0,90 / 1,62 ≈ 0,80. Ein Modell mit Precision 1,0 und Recall 0,1 hat nur einen F1 von 0,18, obwohl der Durchschnitt der beiden 0,55 ist.

Welche zählt für dich?

• Ein Kinderspiel will vermutlich einen sehr hohen Recall: Ein übersehener Grooming-Versuch ist viel schlimmer als ein paar Fehlalarme, die ein Mensch prüft.
• Eine Gaming-Community voller Sticheleien will eher eine hohe Precision: Jedes freundschaftliche „du bist so schlecht in dem Spiel“ zu markieren, würde Leute vertreiben.

Zwischen beiden bewegst du dich mit der Schwelle: Senkst du sie, steigt der Recall und die Precision sinkt; hebst du sie, passiert das Gegenteil.

Average Precision (AP)

Der F1 hängt von der gewählten Schwelle ab. Die Average Precision fasst das Modell über alle Schwellen zugleich zusammen: Sie zeigt, wie gut die Werte schädliche von harmlosen Nachrichten trennen, egal wo man die Grenze zieht. Damit lassen sich zwei Modelle fair vergleichen.

Ein Wort zur „Wahrheit“

Alle diese Zahlen vergleichen das Modell mit Labels, die Menschen geschrieben haben, und Menschen sind sich nicht immer einig, besonders bei Hass und Ironie. Sind die Test-Labels falsch, bekommt selbst ein perfektes Modell einen schlechteren Wert. Deshalb prüfen seriöse Auswertungen ihre Testdatensätze nach (siehe Trainingsdaten und Labels).