# Dados de treino e rótulos: um modelo vale o que valem os seus exemplos

> De onde vêm os dados de treino da moderação, porque é que os rótulos estão muitas vezes errados, o que são dados sintéticos e porque é que as licenças importam.

Source: https://www.vigimod.com/pt/learn/training-data-and-labels · VigiMod (https://www.vigimod.com) · atualizado em 2026-11-11 · 6 min

## Em resumo

- Um modelo aprende com exemplos rotulados: os rótulos definem o que é «tóxico» para ele.
- As pessoas discordam nos rótulos, sobretudo no ódio e na ironia; alguns rótulos estão simplesmente errados.
- Os modelos grandes podem escrever e rotular exemplos (professor → aluno), mas é preciso verificá-los.
- Cada conjunto de dados tem uma licença: nem todos podem ser usados num produto comercial.

## Os rótulos são a definição

Quando se treina um modelo, ele nunca vê a definição de dicionário de «insulto». Vê milhares de mensagens que pessoas marcaram como insultos ou não. **Os rótulos são a definição.** Se forem incoerentes, o modelo aprende uma ideia incoerente.

## As pessoas discordam

Nos casos claros todos concordam. No discurso de ódio, na ironia, em insultos reapropriados ou insultos políticos, os anotadores dividem-se muitas vezes. Os estudos sobre conjuntos de dados de discurso de ódio encontram com frequência um acordo apenas parcial entre pessoas que rotulam as mesmas mensagens. Soluções habituais:

- vários anotadores por mensagem e voto por maioria;
- instruções detalhadas com exemplos;
- pôr de parte os casos «disputados» em vez de forçar um rótulo.

## Alguns rótulos estão errados

Nos conjuntos grandes, uma parte dos rótulos é simplesmente um erro: uma frase claramente tóxica marcada como limpa, uma piada marcada como ameaça. Quando revimos as mensagens que o nosso próprio modelo assinalava num conjunto de teste rotulado por pessoas, cerca de metade dos «falsos alarmes» eram na verdade mensagens mal rotuladas no conjunto. Duas consequências:

1. **Treino:** o modelo aprende alguns erros.
2. **Medição:** até um modelo perfeito parece pior do que é. As avaliações sérias constroem um conjunto de teste «de referência» (gold) revisto.

## Dados reais, dados sintéticos, professores

- As **mensagens reais** escritas por pessoas são as mais valiosas: calão real, erros reais, contexto real.
- Os **dados sintéticos** são escritos de propósito por um grande modelo de linguagem para cobrir o que falta: conversas em que o contexto muda o significado, línguas raras, regras difíceis.
- **Professor → aluno:** um modelo grande (o professor) rotula ou escreve exemplos, e um modelo pequeno e rápido (o aluno) aprende com eles. O aluno pode ficar quase tão bom como o professor nessa tarefa e ser centenas de vezes mais barato de correr. Também herda os erros do professor, por isso as pessoas têm de verificar amostras.

## As licenças importam

Os conjuntos de dados públicos têm licenças. Algumas permitem uso comercial (CC0, CC-BY, MIT, Apache), outras proíbem-no («não comercial») e outras exigem que as obras derivadas usem a mesma licença («partilha nos mesmos termos»). As saídas de um modelo também podem ter termos de utilização. Um produto de moderação tem de verificar cada fonte antes de treinar com ela.

## O esquecimento

Quando um modelo é treinado de novo apenas com dados novos, pode **esquecer** o que sabia. A solução habitual é o **replay**: misturar uma parte dos dados de treino antigos com os novos. É assim que um modelo pode aprender algo novo (por exemplo, [não assinalar frases inocentes com nomes estrangeiros](https://www.vigimod.com/pt/learn/bias-in-moderation-models)) sem piorar em tudo o resto.

## Quiz

1. Para um modelo, o que define o significado de «insulto»?
   Resposta: Os rótulos dos seus dados de treino. O modelo só vê exemplos rotulados.
2. O que é um conjunto de teste «gold»?
   Resposta: Um conjunto de teste cujos rótulos foram cuidadosamente revistos. Rótulos revistos tornam as medições fiáveis.
3. No treino professor → aluno…
   Resposta: um modelo pequeno aprende com exemplos escritos ou rotulados por um grande. O aluno fica rápido e barato, mas herda os erros do professor.
4. Para que serve o «replay»?
   Resposta: Para evitar que o modelo esqueça o que sabia quando é treinado com dados novos. Misturar dados antigos com novos evita o esquecimento.