Detección de toxicidad
Una API de toxicidad que distingue un insulto de una broma
Envías un mensaje y recibes una puntuación de toxicidad entre 0 y 1. VigiMod lee la frase entera, y los mensajes anteriores si los envías: así un ataque a una persona se marca, mientras que maldecir un videojuego o bromear con un amigo no. Entrenada en 26 idiomas, gratis durante la beta.
Respuestas reales, no una lista de palabras
Estas son las puntuaciones que la API dio a cada mensaje. Una lista de palabrotas marcaría “killing”, “hate” e “idiot” y se perdería casi todos los ataques de verdad.
| Mensaje | Puntuación toxic | Resultado |
|---|---|---|
| enyou're honestly the dumbest person in this server, just leave | 1.00 | marcado |
| enthis boss fight is killing me, I hate this level so much | 0.00 | no marcado |
| itma stai zitto, nessuno ti ha chiesto niente, fai pena | 1.00 | marcado |
| itche partita di merda, abbiamo giocato malissimo | 0.00 | no marcado |
| escállate ya, das asco, nadie te quiere aquí | 1.00 | marcado |
| dedu bist so ein erbärmlicher Versager, verschwinde endlich | 1.00 | marcado |
| frt'es vraiment trop fort, bien joué mec ! | 0.00 | no marcado |
| enst*pid l0ser, g0 away | 1.00 | marcado |
| enlol you absolute idiot, I love youenviado después de: “happy birthday mate!!” · “you forgot it last year” | 0.01 | no marcado |
Respuestas de VigiMod 1.2.1 del 11 de noviembre de 2026, con los umbrales predeterminados.
Qué significa la puntuación toxic
- Marcados: los mensajes groseros, irrespetuosos o agresivos hacia alguien. Insultos, humillaciones, decirle a una persona que no vale nada o que se vaya.
- No marcados: el lenguaje fuerte dirigido a cosas (un partido, un nivel, un error), los elogios y las bromas entre amigos cuando los mensajes anteriores muestran que es una broma.
- Los trucos se deshacen antes: letras cambiadas por números o símbolos, letras separadas y palabras alargadas se leen como la palabra que esconden.
- Insultos, odio y amenazas tienen además su propia puntuación, así puedes tratar una amenaza de forma distinta a una simple grosería.
Una sola petición
Un POST con el mensaje. Todo lo demás es opcional: los mensajes anteriores, las categorías que necesitas, tu propio umbral.
import requests
r = requests.post(
"https://api.vigimod.com/moderate",
headers={"X-API-Key": VIGIMOD_KEY},
json={
"text": message,
"context": previous_messages, # optional: the last messages, oldest first
"categories": ["toxic", "insult"], # optional: only what you need (faster)
"thresholds": {"toxic": 0.8}, # optional: flag less
},
)
result = r.json()
result["scores"]["toxic"] # 0.0 to 1.0
result["flags"]["toxic"] # True when the score reaches the thresholdTú decides lo estricta que es
- Cada categoría tiene un umbral por defecto, ajustado con datos de validación. Una puntuación igual o superior activa la marca.
- Sube el umbral para marcar menos (menos falsas alarmas), bájalo para detectar más. Puedes cambiarlo en cada petición, así cada comunidad tiene el suyo.
- VigiMod solo marca. Lo que pasa después (borrar, ocultar, avisar, enviar a un moderador) lo decides tú.
Qué esperar
VigiMod rinde mejor en italiano, inglés, español, francés, alemán y portugués, y entiende 26 idiomas. Para respuestas cortas, sarcasmo y bromas, envía los mensajes anteriores como contexto: el modelo los lee junto con el mensaje. Para las decisiones que más importan, añade la revisión de un moderador.
Preguntas
- ¿Qué es una puntuación de toxicidad?
- Un número entre 0 y 1 que indica lo probable que es que un mensaje sea grosero, irrespetuoso o agresivo hacia alguien. La API lo compara con un umbral y devuelve una marca; también puedes leer la puntuación y decidir tú.
- ¿Las palabrotas se marcan como tóxicas?
- Por sí solas no. “Qué mierda de partido” no ataca a nadie y no se marca; un insulto dirigido a una persona sí. Si tu comunidad no admite palabrotas, añade una regla como “Sin palabrotas” o activa block_slurs.
- ¿En qué idiomas funciona?
- Se entrenó en 26 idiomas y funciona mejor en italiano, inglés, español, francés, alemán y portugués. No hace falta indicar el idioma del mensaje.
- ¿Cuánto cuesta?
- Es gratis durante la beta, con 120 mensajes por minuto por cada clave API. Los planes de pago con límites más altos llegarán más adelante y se anunciarán con mucha antelación.
- ¿Guardáis los mensajes?
- No. Los mensajes se comprueban y se descartan: no se guardan ni se usan para entrenar modelos. La única excepción es una cola de revisión que activas tú para tus moderadores: sus mensajes se guardan los días que elijas y luego se borran.
Sigue aprendiendo
Todas las guías- Básico · 5 min de lecturaFalsos positivos y falsos negativos en la moderación de contenidoTodo sistema de moderación comete dos tipos de errores. Qué son, cuánto le cuesta cada uno a una comunidad y cómo mantener bajos los dos.
- Intermedio · 6 min de lecturaCómo elegir el umbral de moderaciónUna puntuación de 0,7 no es una decisión. Cómo funcionan los umbrales, por qué el valor por defecto es solo un punto de partida y cómo ajustarlos.
- Básico · 5 min de lecturaPor qué el contexto importa en la moderación de chatsLa misma frase puede ser inofensiva o dañina según lo que se dijo antes. Cómo el contexto de la conversación cambia la moderación, con ejemplos reales.
Pruébala con tus mensajes
Crea una clave gratuita y envía tu primera petición en un par de minutos.