Intermédio6 min de leituraAtualizado
O enviesamento nos modelos de moderação: porque são assinaladas mensagens inocentes com nomes estrangeiros
Um modelo pode assinalar «O Mohammed perdeu o comboio» como ódio. De onde vem este enviesamento, como medi-lo e como corrigi-lo.
O problema dos atalhos
Um modelo aprende com exemplos. Se, nos seus dados de treino, o nome de uma nacionalidade ou de uma religião aparece sobretudo dentro de mensagens de ódio, o modelo pode aprender um atalho: «esta palavra ⇒ ódio». Então uma mensagem perfeitamente inocente como «O Mohammed perdeu o comboio esta manhã» recebe uma pontuação de ódio alta só por causa do nome.
A isto chama-se enviesamento (bias), e prejudica precisamente as pessoas que a moderação devia proteger.
De onde vem
- Dados desequilibrados: as mensagens de ódio mencionam identidades com frequência; mensagens do dia a dia inocentes com essas identidades são mais raras nos conjuntos de dados públicos.
- Enviesamento dos anotadores: quem rotula pode ser mais duro com os dialetos ou o calão de alguns grupos.
- Palavras reapropriadas: um grupo usar uma palavra sobre si próprio não é o mesmo que um ataque.
Como medi-lo: testes contrafactuais
Pega em modelos de frases e preenche-os com nomes de várias origens:
| Modelo | Nomes |
|---|---|
| «{nome} perdeu o comboio esta manhã» | Giulia, Mohammed, Wei, Kwame, Dmitri, Priya… |
| «Jantei com {nome} e o irmão dela» | … |
| «{nome}, és um idiota» | … |
Depois verifica duas coisas para cada grupo:
- As frases inocentes não podem ser assinaladas, e a taxa tem de ser igual para todas as origens.
- As frases nocivas têm de continuar a ser apanhadas, também de forma igual para todas as origens.
Um modelo podia passar no primeiro teste simplesmente nunca assinalando nada que tenha um nome: é por isso que o segundo teste é essencial.
O que podes fazer como utilizador de uma API de moderação
- Testa com os nomes e as línguas da tua comunidade antes de entrar em produção.
- Olha para os falsos positivos por grupo, não só no total.
- Comunica os erros sistemáticos ao fornecedor: é o feedback mais útil que existe.
Como medir um modelo de forma justa está em precisão, recall e F1; porque é que os rótulos importam, em dados de treino e rótulos.
Teste-se
Responda às perguntas e depois verifique as respostas.
Continue a aprender
Veja em mensagens reais
Experimente a demo ao vivo ou leia como funciona a API.