Comment choisir le seuil de modération

Ce qu'est un seuil

Un classificateur donne un score de 0 à 1 (voir qu'est-ce qu'un classificateur de texte). Le seuil est la limite que vous fixez : score ≥ seuil → signalé. Avec un seuil de 0,8, un message noté 0,83 pour « insulte » est signalé, un message noté 0,79 ne l'est pas.

Le compromis

Déplacer le seuil vous fait avancer le long d'une courbe :

Seuil	Ce qui se passe
Bas (par ex. 0,3)	repère presque tout (rappel élevé), mais beaucoup de fausses alertes (précision faible)
Moyen (par ex. 0,6)	un équilibre
Haut (par ex. 0,9)	ne signale que les cas clairs (précision élevée), laisse passer les cas subtils (rappel faible)

Il n'existe pas de seuil juste pour tout le monde. Précision et rappel expliquent les deux côtés.

Pourquoi la valeur par défaut n'est qu'un point de départ

Les fournisseurs d'API règlent les seuils par défaut sur des données de validation, en général au point qui donne le meilleur F1. Ces données mélangent de nombreuses communautés. La vôtre a son argot, ses blagues et sa tolérance : un serveur de jeu compétitif et un forum d'entraide pour adolescents ne devraient pas utiliser les mêmes chiffres.

Une méthode simple pour les régler

1. Rassemblez 300 à 500 vrais messages de votre communauté (avec le consentement que vos règles exigent), dont certains que vous supprimeriez.
2. Étiquetez-les vous-même, par catégorie : est-ce une insulte ? une menace ?
3. Notez-les avec l'API et gardez les scores.
4. Pour chaque catégorie, essayez quelques seuils (0,5, 0,6, 0,7, 0,8, 0,9) et comptez les fausses alertes et les oublis.
5. Choisissez le seuil dont vous acceptez les erreurs, et notez pourquoi.

Avec VigiMod, vous pouvez ensuite envoyer vos seuils dans chaque requête ("thresholds": {"toxic": 0.8, "insult": 0.7}) sans rien changer d'autre. Voir la documentation.

Utilisez plus d'une limite

Vous n'êtes pas obligé de choisir entre « bloquer » et « autoriser ». Un schéma courant :

Score	Action
≥ 0,95	supprimer automatiquement
0,75 – 0,95	masquer et envoyer à un modérateur
0,5 – 0,75	autoriser, mais enregistrer
< 0,5	autoriser

Ainsi les actions automatiques sont réservées aux cas clairs et le jugement humain intervient là où le modèle hésite.

Revérifiez de temps en temps

La langue change, un nouvel argot apparaît, un modèle est mis à jour. Refaites la vérification tous les quelques mois, et à chaque changement de version du modèle.