# O enviesamento nos modelos de moderação: porque são assinaladas mensagens inocentes com nomes estrangeiros

> Um modelo pode assinalar «O Mohammed perdeu o comboio» como ódio. De onde vem este enviesamento, como medi-lo e como corrigi-lo.

Source: https://www.vigimod.com/pt/learn/bias-in-moderation-models · VigiMod (https://www.vigimod.com) · atualizado em 2026-11-11 · 6 min

## Em resumo

- Os modelos aprendem atalhos: se uma palavra aparece sobretudo em exemplos nocivos, a própria palavra começa a parecer nociva.
- Nomes, nacionalidades, religiões e identidades são as vítimas clássicas.
- O enviesamento mede-se com testes contrafactuais: a mesma frase, só muda o nome.
- Corrige-se com dados: muitos exemplos inocentes com essas palavras, mais verificações por grupo.

## O problema dos atalhos

Um modelo aprende com exemplos. Se, nos seus dados de treino, o nome de uma nacionalidade ou de uma religião aparece sobretudo dentro de mensagens de ódio, o modelo pode aprender um **atalho**: «esta palavra ⇒ ódio». Então uma mensagem perfeitamente inocente como «O Mohammed perdeu o comboio esta manhã» recebe uma pontuação de ódio alta só por causa do nome.

A isto chama-se **enviesamento** (bias), e prejudica precisamente as pessoas que a moderação devia proteger.

## De onde vem

- **Dados desequilibrados:** as mensagens de ódio mencionam identidades com frequência; mensagens do dia a dia inocentes com essas identidades são mais raras nos conjuntos de dados públicos.
- **Enviesamento dos anotadores:** quem rotula pode ser mais duro com os dialetos ou o calão de alguns grupos.
- **Palavras reapropriadas:** um grupo usar uma palavra sobre si próprio não é o mesmo que um ataque.

## Como medi-lo: testes contrafactuais

Pega em modelos de frases e preenche-os com nomes de várias origens:

| Modelo | Nomes |
|---|---|
| «{nome} perdeu o comboio esta manhã» | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| «Jantei com {nome} e o irmão dela» | … |
| «{nome}, és um idiota» | … |

Depois verifica duas coisas para cada grupo:

1. As **frases inocentes** não podem ser assinaladas, e a taxa tem de ser igual para todas as origens.
2. As **frases nocivas** têm de continuar a ser apanhadas, também de forma igual para todas as origens.

Um modelo podia passar no primeiro teste simplesmente nunca assinalando nada que tenha um nome: é por isso que o segundo teste é essencial.


## O que podes fazer como utilizador de uma API de moderação

- **Testa com os nomes e as línguas da tua comunidade** antes de entrar em produção.
- **Olha para os falsos positivos por grupo,** não só no total.
- **Comunica os erros sistemáticos** ao fornecedor: é o feedback mais útil que existe.

Como medir um modelo de forma justa está em [precisão, recall e F1](https://www.vigimod.com/pt/learn/precision-recall-f1); porque é que os rótulos importam, em [dados de treino e rótulos](https://www.vigimod.com/pt/learn/training-data-and-labels).

## Quiz

1. Porque é que um modelo pode assinalar «O Mohammed perdeu o comboio» como ódio?
   Resposta: Aprendeu um atalho com dados em que o nome aparecia sobretudo em mensagens de ódio. Dados desequilibrados ensinam atalhos.
2. O que é um teste contrafactual?
   Resposta: A mesma frase, em que só muda o nome ou a identidade. Mudar só o nome isola o enviesamento.
3. Porque é preciso testar também frases nocivas com nomes?
   Resposta: Um modelo podia «passar» nunca assinalando nada com um nome. Remover o enviesamento não pode criar pontos cegos.