Moderação com IA do chat de jogos, em todos os idiomas dos seus jogadores

O que torna difícil

Exemplo

Um servidor de chat em Node.js com WebSockets: cada mensagem é verificada antes de ser enviada aos outros jogadores.

JavaScript (Node.js)

// npm install ws  (Node 18+)
// A game chat server: each message is checked before it is sent to the room
import { WebSocketServer } from "ws";

const RULES = { "no-cheats": "No selling or sharing cheats, hacks or exploits" };
const recent = [];                       // the last messages of the room, sent as context
const wss = new WebSocketServer({ port: 8080 });

async function moderate(text, playerId) {
  const res = await fetch("https://api.vigimod.com/moderate", {
    method: "POST",
    headers: { "X-API-Key": process.env.VIGIMOD_KEY, "Content-Type": "application/json" },
    body: JSON.stringify({ text, context: [...recent], rules: RULES, user_id: playerId, scope: "room-1" }),
    signal: AbortSignal.timeout(2000),
  }).catch(() => null);
  return res?.ok ? res.json() : { flagged: false };   // slow or down: let the message through
}

wss.on("connection", (socket, req) => {
  const playerId = req.headers["x-player-id"] ?? "guest";   // use your own authenticated player id
  socket.on("message", async (data) => {
    const text = data.toString().slice(0, 2000);
    const result = await moderate(text, playerId);
    if (result.flagged) {
      socket.send(JSON.stringify({ type: "blocked", reason: "This message breaks the chat rules." }));
      return;
    }
    recent.push(text);
    if (recent.length > 10) recent.shift();
    for (const client of wss.clients) client.send(JSON.stringify({ type: "chat", playerId, text }));
  });
});

Outros casos de uso

• Moderação do chat da Twitch
• Moderação de grupos do Telegram
• Filtro de chat para Minecraft
• Moderação de fóruns
• Moderação de comentários

• Básico · 5 min de leituraPorque é que o contexto importa na moderação de chatsA mesma frase pode ser inofensiva ou nociva conforme o que veio antes. Como o contexto da conversa muda a moderação, com exemplos reais.
• Intermédio · 7 min de leituraPrecisão, recall e F1 explicados com exemplos de moderaçãoA exatidão esconde o problema. O que medem a precisão, o recall e o F1, como calculá-los em 30 segundos e qual importa para a tua comunidade.
• Básico · 5 min de leituraUma pessoa no processo: como a IA e os moderadores trabalham melhor juntosA moderação automática é rápida, as pessoas percebem as nuances. Como dividir o trabalho, que ações automatizar e quais deixar a uma pessoa.