Intermédiaire6 min de lectureMis à jour
Les biais des modèles de modération : pourquoi des messages innocents avec des noms étrangers sont signalés
Un modèle peut signaler « Mohammed a raté le train » comme haineux. D'où vient ce biais, comment le mesurer et comment le corriger.
Le problème des raccourcis
Un modèle apprend à partir d'exemples. Si, dans ses données d'entraînement, le nom d'une nationalité ou d'une religion apparaît surtout dans des messages haineux, le modèle peut apprendre un raccourci : « ce mot ⇒ haine ». Un message parfaitement innocent comme « Mohammed a raté le train ce matin » reçoit alors un score de haine élevé, uniquement à cause du nom.
C'est ce qu'on appelle un biais, et il pénalise précisément les personnes que la modération est censée protéger.
D'où il vient
- Des données déséquilibrées : les messages haineux citent souvent des identités ; les messages ordinaires et innocents qui les mentionnent sont plus rares dans les jeux de données publics.
- Le biais des annotateurs : les personnes qui étiquettent peuvent être plus sévères avec les dialectes ou l'argot de certains groupes.
- Les mots réappropriés : qu'un groupe emploie un mot à son propre sujet n'est pas une attaque.
Comment le mesurer : les tests contrefactuels
Prenez des modèles de phrases et remplissez-les avec des noms de différentes origines :
| Modèle | Noms |
|---|---|
| « {nom} a raté le train ce matin » | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| « J'ai dîné avec {nom} et son frère » | … |
| « {nom}, t'es un idiot » | … |
Vérifiez ensuite deux choses pour chaque groupe :
- Les phrases innocentes ne doivent pas être signalées, et le taux doit être le même pour toutes les origines.
- Les phrases nuisibles doivent toujours être repérées, là encore de façon égale pour toutes les origines.
Un modèle pourrait réussir le premier test en ne signalant tout simplement jamais rien qui contienne un nom : c'est pourquoi le second test est indispensable.
Ce que vous pouvez faire en tant qu'utilisateur d'une API de modération
- Testez avec les noms et les langues de votre communauté avant la mise en service.
- Regardez les faux positifs par groupe, pas seulement au total.
- Signalez les erreurs systématiques au fournisseur : c'est le retour le plus utile qui soit.
Mesurer un modèle équitablement est expliqué dans précision, rappel et F1 ; l'importance des étiquettes, dans données d'entraînement et étiquettes.
Testez-vous
Répondez aux questions, puis vérifiez vos réponses.
Continuer à apprendre
Voyez-le sur de vrais messages
Essayez la démo en direct ou lisez comment fonctionne l'API.