# El sesgo en los modelos de moderación: por qué se marcan mensajes inocentes con nombres extranjeros

> Los modelos de moderación pueden marcar «Mohammed ha perdido el tren» como odio. De dónde viene este sesgo, cómo medirlo y cómo eliminarlo.

Source: https://www.vigimod.com/es/learn/bias-in-moderation-models · VigiMod (https://www.vigimod.com) · actualizado el 2026-11-11 · 6 min

## En resumen

- Los modelos aprenden atajos: si una palabra aparece sobre todo en ejemplos dañinos, la propia palabra empieza a parecer dañina.
- Nombres, nacionalidades, religiones e identidades son las víctimas clásicas.
- El sesgo se mide con pruebas contrafactuales: la misma frase, solo cambia el nombre.
- Se corrige con datos: muchos ejemplos inocentes con esas palabras, más comprobaciones por grupo.

## El problema de los atajos

Un modelo aprende de ejemplos. Si en sus datos de entrenamiento el nombre de una nacionalidad o de una religión aparece sobre todo dentro de mensajes de odio, el modelo puede aprender un **atajo**: «esta palabra ⇒ odio». Entonces un mensaje totalmente inocente como «Mohammed ha perdido el tren esta mañana» recibe una puntuación de odio alta solo por el nombre.

Esto se llama **sesgo**, y perjudica precisamente a las personas que la moderación debería proteger.

## De dónde viene

- **Datos desequilibrados:** los mensajes de odio mencionan identidades a menudo; los mensajes cotidianos e inocentes con esas identidades son más escasos en los conjuntos de datos públicos.
- **Sesgo de los anotadores:** las personas que etiquetan pueden ser más duras con los dialectos o la jerga de algunos grupos.
- **Palabras reapropiadas:** que un grupo use una palabra sobre sí mismo no es lo mismo que un ataque.

## Cómo medirlo: pruebas contrafactuales

Toma plantillas de frases y rellénalas con nombres de distintos orígenes:

| Plantilla | Nombres |
|---|---|
| «{nombre} ha perdido el tren esta mañana» | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| «He cenado con {nombre} y su hermano» | … |
| «{nombre}, eres un idiota» | … |

Después comprueba dos cosas para cada grupo:

1. Las **frases inocentes** no deben marcarse, y la tasa debe ser la misma para todos los orígenes.
2. Las **frases dañinas** deben seguir detectándose, también por igual para todos los orígenes.

Un modelo podría aprobar la primera prueba simplemente no marcando nunca nada que contenga un nombre: por eso la segunda prueba es imprescindible.


## Qué puedes hacer como usuario de una API de moderación

- **Haz pruebas con los nombres y los idiomas de tu comunidad** antes de ponerla en marcha.
- **Mira los falsos positivos por grupo,** no solo en total.
- **Comunica los errores sistemáticos** al proveedor: es la información más útil que existe.

Cómo medir un modelo de forma justa se explica en [precisión, recall y F1](https://www.vigimod.com/es/learn/precision-recall-f1); por qué importan las etiquetas, en [datos de entrenamiento y etiquetas](https://www.vigimod.com/es/learn/training-data-and-labels).

## Cuestionario

1. ¿Por qué un modelo puede marcar «Mohammed ha perdido el tren» como odio?
   Respuesta: Aprendió un atajo de datos en los que el nombre aparecía sobre todo en mensajes de odio. Los datos desequilibrados enseñan atajos.
2. ¿Qué es una prueba contrafactual?
   Respuesta: La misma frase, en la que solo cambia el nombre o la identidad. Cambiar solo el nombre aísla el sesgo.
3. ¿Por qué hay que probar también frases dañinas con nombres?
   Respuesta: Un modelo podría «aprobar» sin marcar nunca nada que tenga un nombre. Eliminar el sesgo no debe crear puntos ciegos.