# Il bias nei modelli di moderazione: perché i messaggi innocenti con nomi stranieri vengono segnalati

> Un modello può segnalare «Mohammed ha perso il treno» come odio. Da dove nasce questo bias, come si misura e come si elimina.

Source: https://www.vigimod.com/it/learn/bias-in-moderation-models · VigiMod (https://www.vigimod.com) · aggiornato il 2026-11-11 · 6 min

## In breve

- I modelli imparano scorciatoie: se una parola compare soprattutto in esempi dannosi, la parola stessa sembra dannosa.
- Nomi, nazionalità, religioni e identità sono le vittime classiche.
- Il bias si misura con test controfattuali: stessa frase, cambia solo il nome.
- Si corregge con i dati: tanti esempi innocenti con quelle parole, più controlli per gruppo.

## Il problema delle scorciatoie

Un modello impara dagli esempi. Se nei dati di addestramento il nome di una nazionalità o di una religione compare soprattutto dentro messaggi d'odio, il modello può imparare una **scorciatoia**: «questa parola ⇒ odio». Così un messaggio del tutto innocente come «Mohammed stamattina ha perso il treno» riceve un punteggio d'odio alto, solo per il nome.

Si chiama **bias**, e colpisce proprio le persone che la moderazione dovrebbe proteggere.

## Da dove nasce

- **Dati sbilanciati:** i messaggi d'odio citano spesso le identità; i messaggi quotidiani e innocenti con quelle identità sono più rari nei dataset pubblici.
- **Bias di chi etichetta:** chi etichetta i dati può essere più severo con dialetti o slang di alcuni gruppi.
- **Parole riappropriate:** un gruppo che usa una parola su sé stesso non è un attacco.

## Come si misura: i test controfattuali

Si prendono frasi modello e si riempiono con nomi di origini diverse:

| Frase modello | Nomi |
|---|---|
| «{nome} stamattina ha perso il treno» | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| «Ho cenato con {nome} e suo fratello» | … |
| «{nome}, sei un idiota» | … |

Poi si controllano due cose per ogni gruppo:

1. Le **frasi innocenti** non devono essere segnalate, e la percentuale deve essere uguale per ogni origine.
2. Le **frasi offensive** devono essere ancora prese, anche qui allo stesso modo per ogni origine.

Un modello potrebbe superare il primo test semplicemente non segnalando mai niente che contenga un nome: per questo il secondo test è indispensabile.


## Cosa puoi fare se usi un'API di moderazione

- **Prova con i nomi e le lingue della tua community** prima di andare online.
- **Guarda i falsi positivi per gruppo,** non solo il totale.
- **Segnala gli errori sistematici** a chi fornisce il servizio: sono il feedback più utile che esista.

Come si misura un modello in modo corretto è spiegato in [precisione, recall e F1](https://www.vigimod.com/it/learn/precision-recall-f1); perché le etichette contano in [dati di addestramento ed etichette](https://www.vigimod.com/it/learn/training-data-and-labels).

## Quiz

1. Perché un modello può segnalare «Mohammed ha perso il treno» come odio?
   Risposta: Ha imparato una scorciatoia da dati in cui quel nome compariva soprattutto in messaggi d'odio. I dati sbilanciati insegnano scorciatoie.
2. Cos'è un test controfattuale?
   Risposta: Stessa frase, cambia solo il nome o l'identità. Cambiando solo il nome si isola il bias.
3. Perché bisogna testare anche le frasi offensive con i nomi?
   Risposta: Un modello potrebbe «passare» non segnalando mai niente con un nome. Togliere il bias non deve creare punti ciechi.