Précision, rappel et F1 expliqués avec des exemples de modération

Pourquoi l'exactitude ne suffit pas

Imaginez 1 000 messages de discussion, dont 20 insultes. Un modèle qui ne signale jamais rien a raison 980 fois sur 1 000 : 98 % d'exactitude, et aucune utilité. Quand ce qu'on cherche est rare, l'exactitude cache le problème. C'est pourquoi la modération se mesure avec la précision et le rappel.

Les quatre cases

Chaque décision tombe dans l'une de quatre cases :

	Vraiment nuisible	Vraiment inoffensif
Signalé	vrai positif (TP)	faux positif (FP)
Non signalé	faux négatif (FN)	vrai négatif (TN)

Un faux positif est un message innocent signalé par erreur ; un faux négatif est un message nuisible qui est passé. Ils n'ont pas le même coût, comme l'explique faux positifs et faux négatifs.

La précision

Précision = TP / (TP + FP)

Parmi tout ce que le modèle a signalé, quelle part était vraiment nuisible ? Une précision faible signifie beaucoup de fausses alertes : vos modérateurs perdent du temps et vos utilisateurs s'agacent.

Le rappel

Rappel = TP / (TP + FN)

Parmi tous les messages nuisibles, combien le modèle en a-t-il repéré ? Un rappel faible signifie beaucoup d'oublis : le contenu nuisible reste dans la discussion.

Un exemple chiffré

Sur 1 000 messages, 20 sont des insultes. Le modèle signale 25 messages : 18 sont de vraies insultes, 7 sont innocents.

• TP = 18, FP = 7, FN = 20 − 18 = 2
• Précision = 18 / 25 = 0,72
• Rappel = 18 / 20 = 0,90

Le modèle repère presque toutes les insultes, mais environ un signalement sur quatre est une fausse alerte.

Le F1 : un seul chiffre pour les deux

F1 = 2 × précision × rappel / (précision + rappel)

Le F1 est la moyenne harmonique des deux : il n'est élevé que si les deux le sont. Dans l'exemple, F1 = 2 × 0,72 × 0,90 / 1,62 ≈ 0,80. Un modèle avec une précision de 1,0 et un rappel de 0,1 n'a qu'un F1 de 0,18, même si la moyenne des deux est 0,55.

Lequel compte pour vous ?

• Un jeu pour enfants voudra sans doute un rappel très élevé : laisser passer une tentative de pédopiégeage est bien pire que quelques fausses alertes vérifiées par une personne.
• Une communauté de joueurs pleine de chambrages voudra plutôt une précision élevée : signaler chaque « t'es nul à ce jeu » amical ferait fuir les gens.

On passe de l'un à l'autre avec le seuil : en le baissant, le rappel monte et la précision baisse ; en le montant, c'est l'inverse.

La précision moyenne (AP)

Le F1 dépend du seuil choisi. La précision moyenne (average precision) résume le modèle sur tous les seuils à la fois : elle dit à quel point les scores séparent bien les messages nuisibles des inoffensifs, quel que soit l'endroit où l'on place la limite. Elle sert à comparer équitablement deux modèles.

Un mot sur la « vérité »

Tous ces chiffres comparent le modèle à des étiquettes écrites par des personnes, et les personnes ne sont pas toujours d'accord, surtout sur la haine et l'ironie. Si les étiquettes de test sont fausses, même un modèle parfait obtient un score plus bas. C'est pourquoi les évaluations sérieuses revérifient leurs jeux de test (voir données d'entraînement et étiquettes).