Toxizitätserkennung
Eine Toxizitäts-API, die Beleidigung und Spaß unterscheidet
Du sendest eine Nachricht und bekommst einen Toxizitätswert zwischen 0 und 1. VigiMod liest den ganzen Satz und, wenn du sie mitschickst, die Nachrichten davor: Ein Angriff auf eine Person wird markiert, Fluchen über ein Videospiel oder Necken unter Freunden nicht. Auf 26 Sprachen trainiert, kostenlos während der Beta.
Echte Antworten, keine Wortliste
Das sind die Werte, die die API jeder Nachricht gegeben hat. Eine Liste mit Schimpfwörtern würde „killing“, „hate“ und „idiot“ markieren und die meisten echten Angriffe übersehen.
| Nachricht | Toxic-Wert | Ergebnis |
|---|---|---|
| enyou're honestly the dumbest person in this server, just leave | 1.00 | markiert |
| enthis boss fight is killing me, I hate this level so much | 0.00 | nicht markiert |
| itma stai zitto, nessuno ti ha chiesto niente, fai pena | 1.00 | markiert |
| itche partita di merda, abbiamo giocato malissimo | 0.00 | nicht markiert |
| escállate ya, das asco, nadie te quiere aquí | 1.00 | markiert |
| dedu bist so ein erbärmlicher Versager, verschwinde endlich | 1.00 | markiert |
| frt'es vraiment trop fort, bien joué mec ! | 0.00 | nicht markiert |
| enst*pid l0ser, g0 away | 1.00 | markiert |
| enlol you absolute idiot, I love yougesendet nach: “happy birthday mate!!” · “you forgot it last year” | 0.01 | nicht markiert |
Antworten von VigiMod 1.2.1 vom 11. November 2026, Standard-Schwellenwerte.
Was der Toxic-Wert bedeutet
- Markiert: Nachrichten, die jemandem gegenüber unhöflich, respektlos oder aggressiv sind. Beleidigungen, Demütigungen, jemandem sagen, er sei wertlos oder solle verschwinden.
- Nicht markiert: derbe Sprache über Dinge (ein Spiel, ein Level, ein Fehler), Lob und Necken unter Freunden, wenn die vorherigen Nachrichten zeigen, dass es ein Scherz ist.
- Tricks werden vorher aufgelöst: Buchstaben, die durch Zahlen oder Symbole ersetzt sind, gesperrte Buchstaben und gedehnte Wörter werden als das Wort gelesen, das sie verstecken.
- Beleidigungen, Hass und Drohungen haben zusätzlich eigene Werte, sodass du eine Drohung anders behandeln kannst als bloße Unhöflichkeit.
Eine Anfrage
Ein POST mit der Nachricht. Alles andere ist optional: die vorherigen Nachrichten, die Kategorien, die du brauchst, deine eigene Schwelle.
import requests
r = requests.post(
"https://api.vigimod.com/moderate",
headers={"X-API-Key": VIGIMOD_KEY},
json={
"text": message,
"context": previous_messages, # optional: the last messages, oldest first
"categories": ["toxic", "insult"], # optional: only what you need (faster)
"thresholds": {"toxic": 0.8}, # optional: flag less
},
)
result = r.json()
result["scores"]["toxic"] # 0.0 to 1.0
result["flags"]["toxic"] # True when the score reaches the thresholdDu bestimmst, wie streng sie ist
- Jede Kategorie hat eine Standardschwelle, die auf Validierungsdaten abgestimmt ist. Ein Wert auf oder über der Schwelle setzt die Markierung.
- Erhöhe die Schwelle, um weniger zu markieren (weniger Fehlalarme), senke sie, um mehr zu erfassen. Du kannst sie pro Anfrage ändern, so hat jede Community ihre eigene.
- VigiMod markiert nur. Was danach passiert (löschen, ausblenden, verwarnen, an Moderatoren geben), entscheidest du.
Was du erwarten kannst
VigiMod arbeitet am besten auf Italienisch, Englisch, Spanisch, Französisch, Deutsch und Portugiesisch und versteht 26 Sprachen. Bei kurzen Antworten, Sarkasmus und Witzen sende die vorherigen Nachrichten als Kontext: Das Modell liest sie zusammen mit der Nachricht. Für die wichtigsten Entscheidungen ergänze eine Prüfung durch einen Moderator.
Fragen
- Was ist ein Toxizitätswert?
- Eine Zahl zwischen 0 und 1, die angibt, wie wahrscheinlich eine Nachricht jemandem gegenüber unhöflich, respektlos oder aggressiv ist. Die API vergleicht sie mit einer Schwelle und gibt eine Markierung zurück; du kannst den Wert auch selbst lesen und entscheiden.
- Wird Fluchen als toxisch markiert?
- Für sich allein nicht. „Was für ein Scheißspiel“ greift niemanden an und wird nicht markiert; eine Beleidigung gegen eine Person schon. Wenn deine Community gar kein Fluchen erlaubt, füge eine Regel wie „Kein Fluchen“ hinzu oder aktiviere block_slurs.
- In welchen Sprachen funktioniert sie?
- Sie wurde auf 26 Sprachen trainiert und funktioniert am besten auf Italienisch, Englisch, Spanisch, Französisch, Deutsch und Portugiesisch. Die Sprache der Nachricht musst du nicht angeben.
- Was kostet sie?
- Während der Beta ist sie kostenlos, mit 120 Nachrichten pro Minute je API-Schlüssel. Bezahlte Tarife mit höheren Limits kommen später und werden lange vorher angekündigt.
- Speichert ihr die Nachrichten?
- Nein. Nachrichten werden geprüft und verworfen: Sie werden nicht gespeichert und nicht zum Trainieren von Modellen verwendet. Die einzige Ausnahme ist eine Prüfwarteschlange, die du für deine Moderatoren einschaltest: Ihre Nachrichten bleiben so viele Tage, wie du wählst, und werden dann gelöscht.
Weiterlernen
Alle Leitfäden- Grundlagen · 5 Min. LesezeitFalsch-Positive und Falsch-Negative in der Content-ModerationJedes Moderationssystem macht zwei Arten von Fehlern. Was sie sind, was jede eine Community kostet und wie man beide niedrig hält.
- Fortgeschritten · 6 Min. LesezeitWie man die Moderationsschwelle wähltEin Wert von 0,7 ist keine Entscheidung. Wie Schwellen funktionieren, warum der Standardwert nur ein Anfang ist und eine einfache Methode, sie einzustellen.
- Grundlagen · 5 Min. LesezeitWarum Kontext bei der Chat-Moderation zähltDerselbe Satz kann harmlos oder schädlich sein, je nachdem, was davor kam. Wie der Gesprächskontext die Moderation verändert, mit echten Beispielen.
Probiere sie mit deinen Nachrichten
Erstelle einen kostenlosen Schlüssel und sende in wenigen Minuten deine erste Anfrage.