Falsi positivi e falsi negativi nella moderazione dei contenuti

Due modi di sbagliare

Un sistema di moderazione può fare esattamente due tipi di errore:

• Un falso positivo segnala qualcosa di innocente: «domani all'esame spacco tutto» trattato come minaccia, la citazione di un insulto trattata come insulto.
• Un falso negativo lascia passare qualcosa di dannoso: una minaccia velata, un insulto scritto in modo creativo, un messaggio d'odio scritto con tono gentile.

Quanto costano

Errore	Costo per la community
Falso positivo	utenti irritati, sensazione di essere sorvegliati, tempo dei moderatori, a volte persone che se ne vanno
Falso negativo	danno a chi viene colpito, clima tossico, rischi legali e di reputazione

I costi non sono simmetrici e dipendono dalla community. In uno spazio per minori, un tentativo di adescamento non visto è molto peggio di dieci falsi allarmi. In un server di gaming, segnalare ogni sfottò amichevole rovina il divertimento.

Perché non si eliminano entrambi girando una sola manopola

La soglia sposta gli errori da una colonna all'altra: abbassandola, i falsi negativi diventano veri positivi, ma compaiono più falsi positivi. Con un dato modello c'è sempre un compromesso.

Da dove vengono i falsi positivi più comuni

• Contesto mancante: scherzi tra amici, risposte, spoiler (vedi il contesto nella moderazione).
• Iperboli: «voglio morire, domani ho tre verifiche 😭» è stress, non autolesionismo.
• Citazioni e risposte all'odio: chi riporta o condanna un insulto lo scrive.
• Parole di identità: nomi, nazionalità o religioni rare negli esempi innocenti di addestramento (bias).

Da dove vengono i falsi negativi più comuni

• Mascheramento: «1d10ta», spazi in mezzo, emoji al posto delle parole.
• Danno indiretto: minacce senza parole violente, molestie distribuite in tanti messaggi gentili.
• Slang nuovo e lingue che il modello ha visto poco.

Come tenerli bassi entrambi

1. Un modello migliore sui dati giusti: l'unico modo di migliorarli entrambi.
2. Contesto: manda i messaggi precedenti, non solo l'ultimo.
3. Azioni graduali: rimuovi automaticamente solo i casi chiari, manda quelli dubbi a una persona.
4. Feedback: conserva gli esempi di errore; sono i dati più preziosi per la versione successiva.