Como escolher o limiar de moderação

O que é um limiar

Um classificador dá uma pontuação de 0 a 1 (ver o que é um classificador de texto). O limiar é a linha que traças: pontuação ≥ limiar → assinalada. Com um limiar de 0,8, uma mensagem com 0,83 em «insulto» é assinalada e uma com 0,79 não.

O equilíbrio

Mexer no limiar faz-te andar ao longo de uma curva:

Limiar	O que acontece
Baixo (p. ex. 0,3)	apanha quase tudo (recall alto), mas com muitos falsos alarmes (precisão baixa)
Médio (p. ex. 0,6)	um equilíbrio
Alto (p. ex. 0,9)	assinala só os casos claros (precisão alta) e deixa passar os subtis (recall baixo)

Não há um limiar certo para toda a gente. Precisão e recall explicam os dois lados.

Porque é que o valor predefinido é só um ponto de partida

Os fornecedores de API afinam os limiares predefinidos com dados de validação, normalmente no ponto com o melhor F1. Esses dados misturam muitas comunidades. A tua tem o seu próprio calão, as suas piadas e a sua tolerância: um servidor de jogo competitivo e um fórum de ajuda para adolescentes não deviam usar os mesmos números.

Um método simples para os afinar

1. Junta 300 a 500 mensagens reais da tua comunidade (com o consentimento que as tuas regras exigem), incluindo algumas que removerias.
2. Rotula-as tu, por categoria: é um insulto? Uma ameaça?
3. Pontua-as com a API e guarda as pontuações.
4. Para cada categoria, experimenta alguns limiares (0,5, 0,6, 0,7, 0,8, 0,9) e conta os falsos alarmes e as falhas.
5. Escolhe o limiar cujos erros consegues aceitar e anota porquê.

Com a VigiMod podes depois enviar os teus limiares em cada pedido ("thresholds": {"toxic": 0.8, "insult": 0.7}) sem mudar mais nada. Vê a documentação.

Usa mais do que uma linha

Não tens de escolher entre «bloquear» e «permitir». Um esquema habitual:

Pontuação	Ação
≥ 0,95	remover automaticamente
0,75 – 0,95	esconder e enviar a um moderador
0,5 – 0,75	permitir, mas registar
< 0,5	permitir

Assim as ações automáticas ficam para os casos claros e o juízo humano entra onde o modelo hesita.

Volta a verificar de vez em quando

A língua muda, aparece calão novo, um modelo é atualizado. Repete a verificação de poucos em poucos meses e sempre que mudares de versão do modelo.