Rilevamento della tossicità
Un'API per la tossicità che distingue un insulto da una battuta
Mandi un messaggio e ricevi un punteggio di tossicità tra 0 e 1. VigiMod legge tutta la frase, e i messaggi precedenti se li invii: così un attacco a una persona viene segnalato, mentre un'imprecazione contro un videogioco o una presa in giro tra amici no. Addestrata su 26 lingue, gratis durante la beta.
Risposte vere, non una lista di parole
Questi sono i punteggi che l'API ha dato a ogni messaggio. Una lista di parolacce segnalerebbe “killing”, “hate” e “idiot” e si perderebbe quasi tutti gli attacchi veri.
| Messaggio | Punteggio toxic | Risultato |
|---|---|---|
| enyou're honestly the dumbest person in this server, just leave | 1.00 | segnalato |
| enthis boss fight is killing me, I hate this level so much | 0.00 | non segnalato |
| itma stai zitto, nessuno ti ha chiesto niente, fai pena | 1.00 | segnalato |
| itche partita di merda, abbiamo giocato malissimo | 0.00 | non segnalato |
| escállate ya, das asco, nadie te quiere aquí | 1.00 | segnalato |
| dedu bist so ein erbärmlicher Versager, verschwinde endlich | 1.00 | segnalato |
| frt'es vraiment trop fort, bien joué mec ! | 0.00 | non segnalato |
| enst*pid l0ser, g0 away | 1.00 | segnalato |
| enlol you absolute idiot, I love youinviato dopo: “happy birthday mate!!” · “you forgot it last year” | 0.01 | non segnalato |
Risposte di VigiMod 1.2.1 dell'11 novembre 2026, con le soglie predefinite.
Cosa significa il punteggio toxic
- Segnalati: i messaggi maleducati, irrispettosi o aggressivi verso qualcuno. Insulti, umiliazioni, dire a una persona che non vale niente o che deve andarsene.
- Non segnalati: il linguaggio forte rivolto alle cose (una partita, un livello, un bug), i complimenti e le prese in giro tra amici, quando i messaggi precedenti mostrano che è uno scherzo.
- I trucchi vengono tolti prima: lettere sostituite da numeri o simboli, lettere separate da spazi e parole allungate sono lette come la parola che nascondono.
- Insulti, odio e minacce hanno anche un punteggio proprio, così puoi trattare una minaccia in modo diverso da una semplice maleducazione.
Una sola richiesta
Un POST con il messaggio. Tutto il resto è facoltativo: i messaggi precedenti, le categorie che ti servono, la tua soglia.
import requests
r = requests.post(
"https://api.vigimod.com/moderate",
headers={"X-API-Key": VIGIMOD_KEY},
json={
"text": message,
"context": previous_messages, # optional: the last messages, oldest first
"categories": ["toxic", "insult"], # optional: only what you need (faster)
"thresholds": {"toxic": 0.8}, # optional: flag less
},
)
result = r.json()
result["scores"]["toxic"] # 0.0 to 1.0
result["flags"]["toxic"] # True when the score reaches the thresholdQuanto è severa lo decidi tu
- Ogni categoria ha una soglia predefinita, tarata sui dati di validazione. Un punteggio pari o superiore fa scattare la segnalazione.
- Alza la soglia per segnalare meno (meno falsi allarmi), abbassala per prendere di più. Puoi cambiarla a ogni richiesta, così ogni community ha la sua.
- VigiMod segnala e basta. Cosa succede dopo (cancellare, nascondere, avvisare, passare a un moderatore) lo decidi tu.
Cosa aspettarsi
VigiMod rende al meglio in italiano, inglese, spagnolo, francese, tedesco e portoghese, e capisce 26 lingue. Per risposte brevi, sarcasmo e battute, invia i messaggi precedenti come contesto: il modello li legge insieme al messaggio. Per le decisioni più importanti aggiungi la revisione di un moderatore.
Domande
- Cos'è un punteggio di tossicità?
- Un numero tra 0 e 1 che dice quanto è probabile che un messaggio sia maleducato, irrispettoso o aggressivo verso qualcuno. L'API lo confronta con una soglia e restituisce una segnalazione; puoi anche leggere il punteggio e decidere tu.
- Le parolacce vengono segnalate come tossiche?
- Da sole no. “Che partita di merda” non attacca nessuno e non viene segnalata; un insulto rivolto a una persona sì. Se nella tua community le parolacce non sono ammesse, aggiungi una regola come “Niente parolacce” o attiva block_slurs.
- In quali lingue funziona?
- È stata addestrata su 26 lingue e funziona meglio in italiano, inglese, spagnolo, francese, tedesco e portoghese. Non serve indicare la lingua del messaggio.
- Quanto costa?
- È gratis durante la beta, con 120 messaggi al minuto per ogni chiave API. I piani a pagamento con limiti più alti arriveranno più avanti, annunciati con largo anticipo.
- Conservate i messaggi?
- No. I messaggi vengono controllati e scartati: non vengono salvati e non vengono usati per addestrare modelli. L'unica eccezione è una coda di revisione che attivi tu per i tuoi moderatori: i suoi messaggi restano per i giorni che scegli, poi vengono cancellati.
Continua a imparare
Tutte le guide- Base · 5 min di letturaFalsi positivi e falsi negativi nella moderazione dei contenutiOgni sistema di moderazione fa due tipi di errore. Cosa sono, quanto costa ciascuno a una community e come tenerli bassi entrambi.
- Intermedio · 6 min di letturaCome scegliere la soglia di moderazioneUn punteggio di 0,7 non è una decisione. Come funzionano le soglie, perché quella predefinita è solo un punto di partenza e un metodo semplice per regolarle.
- Base · 5 min di letturaPerché il contesto conta nella moderazione delle chatLa stessa frase può essere innocua o dannosa a seconda di cosa c'era prima. Come il contesto della conversazione cambia la moderazione, con esempi reali.
Provala sui tuoi messaggi
Crea una chiave gratuita e manda la prima richiesta in un paio di minuti.