Cómo elegir el umbral de moderación

Qué es un umbral

Un clasificador da una puntuación de 0 a 1 (ver qué es un clasificador de texto). El umbral es la línea que trazas: puntuación ≥ umbral → marcado. Con un umbral de 0,8, un mensaje con 0,83 en «insulto» se marca y uno con 0,79 no.

El equilibrio

Mover el umbral te desplaza por una curva:

Umbral	Qué pasa
Bajo (p. ej. 0,3)	detecta casi todo (recall alto), pero con muchas falsas alarmas (precisión baja)
Medio (p. ej. 0,6)	un equilibrio
Alto (p. ej. 0,9)	marca solo los casos claros (precisión alta) y deja pasar los sutiles (recall bajo)

No hay un umbral correcto para todo el mundo. Precisión y recall explican los dos lados.

Por qué el valor por defecto es solo un punto de partida

Los proveedores de API ajustan los umbrales por defecto con datos de validación, normalmente en el punto con el mejor F1. Esos datos mezclan muchas comunidades. La tuya tiene su propia jerga, sus propias bromas y su propia tolerancia: un servidor de juego competitivo y un foro de ayuda para adolescentes no deberían usar los mismos números.

Un método sencillo para ajustarlos

1. Reúne de 300 a 500 mensajes reales de tu comunidad (con el consentimiento que exijan tus normas), incluidos algunos que eliminarías.
2. Etiquétalos tú, por categoría: ¿es un insulto? ¿una amenaza?
3. Puntúalos con la API y guarda las puntuaciones.
4. Para cada categoría, prueba algunos umbrales (0,5, 0,6, 0,7, 0,8, 0,9) y cuenta falsas alarmas y fallos.
5. Elige el umbral cuyos errores puedes asumir y anota por qué.

Con VigiMod puedes enviar tus umbrales en cada petición ("thresholds": {"toxic": 0.8, "insult": 0.7}) sin cambiar nada más. Consulta la documentación.

Usa más de una línea

No tienes que elegir entre «bloquear» y «permitir». Un esquema habitual:

Puntuación	Acción
≥ 0,95	eliminar automáticamente
0,75 – 0,95	ocultar y enviar a un moderador
0,5 – 0,75	permitir, pero registrarlo
< 0,5	permitir

Así las acciones automáticas quedan para los casos claros y el juicio humano entra donde el modelo duda.

Revísalo de vez en cuando

El lenguaje cambia, aparece jerga nueva, un modelo se actualiza. Repite la comprobación cada pocos meses y siempre que cambies de versión del modelo.