Falsos positivos e falsos negativos na moderação de conteúdos

Duas formas de errar

Um sistema de moderação pode cometer exatamente dois tipos de erros:

• Um falso positivo assinala algo inocente: «amanhã vou arrasar o exame» tratado como ameaça, a citação de um insulto tratada como insulto.
• Um falso negativo deixa passar algo nocivo: uma ameaça velada, um insulto com ortografia criativa, uma mensagem de ódio escrita com educação.

O que custam

Erro	Custo para a comunidade
Falso positivo	utilizadores irritados, sensação de estar a ser vigiado, tempo dos moderadores, às vezes pessoas que saem
Falso negativo	dano para a pessoa visada, ambiente tóxico, risco legal e de reputação

Os custos não são simétricos e dependem da comunidade. Num espaço para menores, uma tentativa de aliciamento que escapa é muito pior do que dez falsos alarmes. Num servidor de jogos, assinalar todas as provocações entre amigos acaba com a diversão.

Porque é que não se eliminam os dois rodando um só botão

O limiar move os erros de uma coluna para a outra: ao baixá-lo, os falsos negativos passam a acertos, mas aparecem mais falsos positivos. Com um dado modelo, há sempre um compromisso.

De onde vêm os falsos positivos habituais

• Falta de contexto: piadas entre amigos, respostas, spoilers (ver o contexto na moderação).
• Hipérboles: «quero morrer, amanhã tenho três testes 😭» é stress, não automutilação.
• Citações e contradiscurso: denunciar ou condenar um insulto contém o insulto.
• Palavras de identidade: nomes, nacionalidades ou religiões que eram raros nos exemplos inocentes de treino (enviesamento).

De onde vêm os falsos negativos habituais

• Ofuscação: «1d10ta», espaços a mais, emojis em vez de palavras.
• Dano indireto: ameaças sem palavras violentas, assédio repartido por muitas mensagens educadas.
• Calão novo e línguas que o modelo viu pouco.

Como manter ambos baixos

1. Um modelo melhor com os dados certos: a única forma de melhorar os dois ao mesmo tempo.
2. Contexto: envia as mensagens anteriores, não só a última.
3. Ações graduais: remove automaticamente só os casos claros e passa os duvidosos a uma pessoa.
4. Feedback: guarda exemplos de erros; são os dados mais valiosos para a próxima versão.