Il bias nei modelli di moderazione: perché i messaggi innocenti con nomi stranieri vengono segnalati

Il problema delle scorciatoie

Un modello impara dagli esempi. Se nei dati di addestramento il nome di una nazionalità o di una religione compare soprattutto dentro messaggi d'odio, il modello può imparare una scorciatoia: «questa parola ⇒ odio». Così un messaggio del tutto innocente come «Mohammed stamattina ha perso il treno» riceve un punteggio d'odio alto, solo per il nome.

Si chiama bias, e colpisce proprio le persone che la moderazione dovrebbe proteggere.

Da dove nasce

• Dati sbilanciati: i messaggi d'odio citano spesso le identità; i messaggi quotidiani e innocenti con quelle identità sono più rari nei dataset pubblici.
• Bias di chi etichetta: chi etichetta i dati può essere più severo con dialetti o slang di alcuni gruppi.
• Parole riappropriate: un gruppo che usa una parola su sé stesso non è un attacco.

Come si misura: i test controfattuali

Si prendono frasi modello e si riempiono con nomi di origini diverse:

Frase modello	Nomi
«{nome} stamattina ha perso il treno»	Giulia, Mohammed, Wei, Kwame, Dmitri, Priya…
«Ho cenato con {nome} e suo fratello»	…
«{nome}, sei un idiota»	…

Poi si controllano due cose per ogni gruppo:

1. Le frasi innocenti non devono essere segnalate, e la percentuale deve essere uguale per ogni origine.
2. Le frasi offensive devono essere ancora prese, anche qui allo stesso modo per ogni origine.

Un modello potrebbe superare il primo test semplicemente non segnalando mai niente che contenga un nome: per questo il secondo test è indispensabile.

Cosa puoi fare se usi un'API di moderazione

• Prova con i nomi e le lingue della tua community prima di andare online.
• Guarda i falsi positivi per gruppo, non solo il totale.
• Segnala gli errori sistematici a chi fornisce il servizio: sono il feedback più utile che esista.

Come si misura un modello in modo corretto è spiegato in precisione, recall e F1; perché le etichette contano in dati di addestramento ed etichette.