# Les biais des modèles de modération : pourquoi des messages innocents avec des noms étrangers sont signalés

> Un modèle peut signaler « Mohammed a raté le train » comme haineux. D'où vient ce biais, comment le mesurer et comment le corriger.

Source: https://www.vigimod.com/fr/learn/bias-in-moderation-models · VigiMod (https://www.vigimod.com) · mis à jour le 2026-11-11 · 6 min

## En bref

- Les modèles apprennent des raccourcis : si un mot apparaît surtout dans des exemples nuisibles, le mot lui-même finit par sembler nuisible.
- Les noms, nationalités, religions et identités en sont les victimes classiques.
- On mesure le biais avec des tests contrefactuels : la même phrase, seul le nom change.
- On le corrige avec des données : beaucoup d'exemples innocents avec ces mots, et des vérifications par groupe.

## Le problème des raccourcis

Un modèle apprend à partir d'exemples. Si, dans ses données d'entraînement, le nom d'une nationalité ou d'une religion apparaît surtout dans des messages haineux, le modèle peut apprendre un **raccourci** : « ce mot ⇒ haine ». Un message parfaitement innocent comme « Mohammed a raté le train ce matin » reçoit alors un score de haine élevé, uniquement à cause du nom.

C'est ce qu'on appelle un **biais**, et il pénalise précisément les personnes que la modération est censée protéger.

## D'où il vient

- **Des données déséquilibrées :** les messages haineux citent souvent des identités ; les messages ordinaires et innocents qui les mentionnent sont plus rares dans les jeux de données publics.
- **Le biais des annotateurs :** les personnes qui étiquettent peuvent être plus sévères avec les dialectes ou l'argot de certains groupes.
- **Les mots réappropriés :** qu'un groupe emploie un mot à son propre sujet n'est pas une attaque.

## Comment le mesurer : les tests contrefactuels

Prenez des modèles de phrases et remplissez-les avec des noms de différentes origines :

| Modèle | Noms |
|---|---|
| « {nom} a raté le train ce matin » | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| « J'ai dîné avec {nom} et son frère » | … |
| « {nom}, t'es un idiot » | … |

Vérifiez ensuite deux choses pour chaque groupe :

1. Les **phrases innocentes** ne doivent pas être signalées, et le taux doit être le même pour toutes les origines.
2. Les **phrases nuisibles** doivent toujours être repérées, là encore de façon égale pour toutes les origines.

Un modèle pourrait réussir le premier test en ne signalant tout simplement jamais rien qui contienne un nom : c'est pourquoi le second test est indispensable.


## Ce que vous pouvez faire en tant qu'utilisateur d'une API de modération

- **Testez avec les noms et les langues de votre communauté** avant la mise en service.
- **Regardez les faux positifs par groupe,** pas seulement au total.
- **Signalez les erreurs systématiques** au fournisseur : c'est le retour le plus utile qui soit.

Mesurer un modèle équitablement est expliqué dans [précision, rappel et F1](https://www.vigimod.com/fr/learn/precision-recall-f1) ; l'importance des étiquettes, dans [données d'entraînement et étiquettes](https://www.vigimod.com/fr/learn/training-data-and-labels).

## Quiz

1. Pourquoi un modèle peut-il signaler « Mohammed a raté le train » comme haineux ?
   Réponse: Il a appris un raccourci à partir de données où ce nom apparaissait surtout dans des messages haineux. Des données déséquilibrées enseignent des raccourcis.
2. Qu'est-ce qu'un test contrefactuel ?
   Réponse: La même phrase, où seul le nom ou l'identité change. Changer seulement le nom isole le biais.
3. Pourquoi faut-il aussi tester des phrases nuisibles avec des noms ?
   Réponse: Un modèle pourrait « réussir » en ne signalant jamais rien qui contienne un nom. Supprimer un biais ne doit pas créer d'angles morts.