Falsos positivos y falsos negativos en la moderación de contenido

Dos formas de equivocarse

Un sistema de moderación puede cometer exactamente dos tipos de errores:

• Un falso positivo marca algo inocente: «mañana voy a matar el examen» tratado como amenaza, la cita de un insulto tratada como insulto.
• Un falso negativo deja pasar algo dañino: una amenaza velada, un insulto con ortografía creativa, un mensaje de odio escrito con educación.

Lo que cuestan

Error	Coste para la comunidad
Falso positivo	usuarios molestos, sensación de estar vigilados, tiempo de los moderadores, a veces gente que se va
Falso negativo	daño a la persona atacada, ambiente tóxico, riesgo legal y de reputación

Los costes no son simétricos y dependen de la comunidad. En un espacio para menores, un intento de acoso sexual que se escapa es mucho peor que diez falsas alarmas. En un servidor de videojuegos, marcar cada pique entre amigos acaba con la diversión.

Por qué no se eliminan los dos girando un solo botón

El umbral mueve los errores de una columna a la otra: si lo bajas, los falsos negativos se convierten en aciertos, pero aparecen más falsos positivos. Con un modelo dado, siempre hay un equilibrio que elegir.

De dónde vienen los falsos positivos habituales

• Falta de contexto: bromas entre amigos, respuestas, spoilers (ver el contexto en la moderación).
• Hipérboles: «me quiero morir, mañana tengo tres exámenes 😭» es estrés, no autolesión.
• Citas y contradiscurso: denunciar o condenar un insulto contiene el insulto.
• Palabras de identidad: nombres, nacionalidades o religiones que eran poco frecuentes en los ejemplos inocentes de entrenamiento (sesgo).

De dónde vienen los falsos negativos habituales

• Ofuscación: «1d10ta», espacios de más, emojis en lugar de palabras.
• Daño indirecto: amenazas sin palabras violentas, acoso repartido en muchos mensajes educados.
• Jerga nueva e idiomas que el modelo vio poco.

Cómo mantener bajos los dos

1. Un modelo mejor con los datos adecuados: la única forma de mejorar los dos a la vez.
2. Contexto: envía los mensajes anteriores, no solo el último.
3. Acciones graduales: elimina automáticamente solo los casos claros y pasa los dudosos a una persona.
4. Retroalimentación: guarda ejemplos de errores; son los datos más valiosos para la siguiente versión.