El sesgo en los modelos de moderación: por qué se marcan mensajes inocentes con nombres extranjeros

El problema de los atajos

Un modelo aprende de ejemplos. Si en sus datos de entrenamiento el nombre de una nacionalidad o de una religión aparece sobre todo dentro de mensajes de odio, el modelo puede aprender un atajo: «esta palabra ⇒ odio». Entonces un mensaje totalmente inocente como «Mohammed ha perdido el tren esta mañana» recibe una puntuación de odio alta solo por el nombre.

Esto se llama sesgo, y perjudica precisamente a las personas que la moderación debería proteger.

De dónde viene

• Datos desequilibrados: los mensajes de odio mencionan identidades a menudo; los mensajes cotidianos e inocentes con esas identidades son más escasos en los conjuntos de datos públicos.
• Sesgo de los anotadores: las personas que etiquetan pueden ser más duras con los dialectos o la jerga de algunos grupos.
• Palabras reapropiadas: que un grupo use una palabra sobre sí mismo no es lo mismo que un ataque.

Cómo medirlo: pruebas contrafactuales

Toma plantillas de frases y rellénalas con nombres de distintos orígenes:

Plantilla	Nombres
«{nombre} ha perdido el tren esta mañana»	Giulia, Mohammed, Wei, Kwame, Dmitri, Priya…
«He cenado con {nombre} y su hermano»	…
«{nombre}, eres un idiota»	…

Después comprueba dos cosas para cada grupo:

1. Las frases inocentes no deben marcarse, y la tasa debe ser la misma para todos los orígenes.
2. Las frases dañinas deben seguir detectándose, también por igual para todos los orígenes.

Un modelo podría aprobar la primera prueba simplemente no marcando nunca nada que contenga un nombre: por eso la segunda prueba es imprescindible.

Qué puedes hacer como usuario de una API de moderación

• Haz pruebas con los nombres y los idiomas de tu comunidad antes de ponerla en marcha.
• Mira los falsos positivos por grupo, no solo en total.
• Comunica los errores sistemáticos al proveedor: es la información más útil que existe.

Cómo medir un modelo de forma justa se explica en precisión, recall y F1; por qué importan las etiquetas, en datos de entrenamiento y etiquetas.