Deteção de toxicidade
Uma API de toxicidade que distingue um insulto de uma piada
Envias uma mensagem e recebes uma pontuação de toxicidade entre 0 e 1. A VigiMod lê a frase inteira, e as mensagens anteriores se as enviares: assim um ataque a uma pessoa é assinalado, enquanto praguejar contra um videojogo ou brincar com um amigo não. Treinada em 26 línguas, grátis durante a beta.
Respostas reais, não uma lista de palavras
Estas são as pontuações que a API deu a cada mensagem. Uma lista de palavrões assinalaria “killing”, “hate” e “idiot” e deixaria passar quase todos os ataques verdadeiros.
| Mensagem | Pontuação toxic | Resultado |
|---|---|---|
| enyou're honestly the dumbest person in this server, just leave | 1.00 | assinalada |
| enthis boss fight is killing me, I hate this level so much | 0.00 | não assinalada |
| itma stai zitto, nessuno ti ha chiesto niente, fai pena | 1.00 | assinalada |
| itche partita di merda, abbiamo giocato malissimo | 0.00 | não assinalada |
| escállate ya, das asco, nadie te quiere aquí | 1.00 | assinalada |
| dedu bist so ein erbärmlicher Versager, verschwinde endlich | 1.00 | assinalada |
| frt'es vraiment trop fort, bien joué mec ! | 0.00 | não assinalada |
| enst*pid l0ser, g0 away | 1.00 | assinalada |
| enlol you absolute idiot, I love youenviada depois de: “happy birthday mate!!” · “you forgot it last year” | 0.01 | não assinalada |
Respostas do VigiMod 1.2.1 de 11 de novembro de 2026, com os limiares padrão.
O que significa a pontuação toxic
- Assinaladas: mensagens grosseiras, desrespeitosas ou agressivas para com alguém. Insultos, humilhações, dizer a uma pessoa que não vale nada ou que se vá embora.
- Não assinaladas: linguagem forte dirigida a coisas (um jogo, um nível, um erro), elogios e brincadeiras entre amigos quando as mensagens anteriores mostram que é uma piada.
- Os truques são desfeitos primeiro: letras trocadas por números ou símbolos, letras separadas e palavras esticadas são lidas como a palavra que escondem.
- Insultos, ódio e ameaças têm também a sua própria pontuação, para poderes tratar uma ameaça de forma diferente de uma simples grosseria.
Um só pedido
Um POST com a mensagem. Tudo o resto é opcional: as mensagens anteriores, as categorias de que precisas, o teu próprio limiar.
import requests
r = requests.post(
"https://api.vigimod.com/moderate",
headers={"X-API-Key": VIGIMOD_KEY},
json={
"text": message,
"context": previous_messages, # optional: the last messages, oldest first
"categories": ["toxic", "insult"], # optional: only what you need (faster)
"thresholds": {"toxic": 0.8}, # optional: flag less
},
)
result = r.json()
result["scores"]["toxic"] # 0.0 to 1.0
result["flags"]["toxic"] # True when the score reaches the thresholdTu decides o quão rigorosa é
- Cada categoria tem um limiar predefinido, afinado com dados de validação. Uma pontuação igual ou superior ativa o alerta.
- Sobe o limiar para assinalar menos (menos falsos alarmes), baixa-o para apanhar mais. Podes mudá-lo em cada pedido, e assim cada comunidade tem o seu.
- A VigiMod só assinala. O que acontece depois (apagar, esconder, avisar, enviar a um moderador) és tu que decides.
O que esperar
O VigiMod rende melhor em italiano, inglês, espanhol, francês, alemão e português, e entende 26 idiomas. Para respostas curtas, sarcasmo e piadas, envie as mensagens anteriores como contexto: o modelo lê-as junto com a mensagem. Para as decisões que mais importam, acrescente a revisão de um moderador.
Perguntas
- O que é uma pontuação de toxicidade?
- Um número entre 0 e 1 que indica a probabilidade de uma mensagem ser grosseira, desrespeitosa ou agressiva para com alguém. A API compara-o com um limiar e devolve um alerta; também podes ler a pontuação e decidir tu.
- Os palavrões são assinalados como tóxicos?
- Por si só, não. “Que jogo de merda” não ataca ninguém e não é assinalado; um insulto dirigido a uma pessoa é. Se a tua comunidade não admite palavrões, acrescenta uma regra como “Sem palavrões” ou ativa block_slurs.
- Em que línguas funciona?
- Foi treinada em 26 línguas e funciona melhor em italiano, inglês, espanhol, francês, alemão e português. Não é preciso indicar a língua da mensagem.
- Quanto custa?
- É grátis durante a beta, com 120 mensagens por minuto por cada chave API. Os planos pagos com limites mais altos chegam mais tarde, anunciados com bastante antecedência.
- Guardam as mensagens?
- Não. As mensagens são verificadas e descartadas: não são guardadas nem usadas para treinar modelos. A única exceção é uma fila de revisão que ativa para os seus moderadores: as mensagens ficam guardadas os dias que escolher e depois são apagadas.
Continue a aprender
Todos os guias- Básico · 5 min de leituraFalsos positivos e falsos negativos na moderação de conteúdosQualquer sistema de moderação comete dois tipos de erros. O que são, quanto custa cada um a uma comunidade e como manter ambos baixos.
- Intermédio · 6 min de leituraComo escolher o limiar de moderaçãoUma pontuação de 0,7 não é uma decisão. Como funcionam os limiares, porque o valor predefinido é só um ponto de partida e como afiná-los.
- Básico · 5 min de leituraPorque é que o contexto importa na moderação de chatsA mesma frase pode ser inofensiva ou nociva conforme o que veio antes. Como o contexto da conversa muda a moderação, com exemplos reais.
Experimenta com as tuas mensagens
Cria uma chave gratuita e envia o teu primeiro pedido em poucos minutos.