Faux positifs et faux négatifs dans la modération de contenu

Deux façons de se tromper

Un système de modération peut faire exactement deux sortes d'erreurs :

• Un faux positif signale quelque chose d'innocent : « je vais tuer l'examen demain » traité comme une menace, la citation d'une insulte traitée comme une insulte.
• Un faux négatif laisse passer quelque chose de nuisible : une menace voilée, une insulte à l'orthographe créative, un message haineux écrit poliment.

Ce qu'elles coûtent

Erreur	Coût pour la communauté
Faux positif	utilisateurs agacés, impression d'être surveillé, temps des modérateurs, parfois des départs
Faux négatif	tort causé à la personne visée, ambiance toxique, risque juridique et d'image

Les coûts ne sont pas symétriques et dépendent de la communauté. Dans un espace pour mineurs, une tentative de pédopiégeage qui passe est bien pire que dix fausses alertes. Sur un serveur de jeu, signaler chaque chambrage amical tue l'ambiance.

Pourquoi on ne supprime pas les deux en tournant un seul bouton

Le seuil déplace les erreurs d'une colonne à l'autre : en le baissant, des faux négatifs deviennent des vrais positifs, mais davantage de faux positifs apparaissent. Avec un modèle donné, il y a toujours un compromis.

D'où viennent les faux positifs courants

• Le contexte manquant : blagues entre amis, réponses, spoilers (voir le contexte dans la modération).
• L'hyperbole : « j'ai envie de mourir, j'ai trois contrôles demain 😭 » c'est du stress, pas de l'automutilation.
• Les citations et le contre-discours : dénoncer ou condamner une insulte contient l'insulte.
• Les mots d'identité : des noms, nationalités ou religions rares dans les exemples innocents d'entraînement (biais).

D'où viennent les faux négatifs courants

• L'obfuscation : « 1d10t », des espaces en trop, des emojis à la place des mots.
• Le tort indirect : des menaces sans mots violents, un harcèlement réparti sur de nombreux messages polis.
• Un argot nouveau et des langues que le modèle a peu vues.

Comment garder les deux bas

1. Un meilleur modèle sur les bonnes données : le seul moyen d'améliorer les deux à la fois.
2. Le contexte : envoyez les messages précédents, pas seulement le dernier.
3. Des actions graduées : ne supprimez automatiquement que les cas clairs, envoyez les cas douteux à une personne.
4. Le retour d'expérience : gardez des exemples d'erreurs ; ce sont les données les plus précieuses pour la version suivante.