Dados de treino e rótulos: um modelo vale o que valem os seus exemplos

Os rótulos são a definição

Quando se treina um modelo, ele nunca vê a definição de dicionário de «insulto». Vê milhares de mensagens que pessoas marcaram como insultos ou não. Os rótulos são a definição. Se forem incoerentes, o modelo aprende uma ideia incoerente.

As pessoas discordam

Nos casos claros todos concordam. No discurso de ódio, na ironia, em insultos reapropriados ou insultos políticos, os anotadores dividem-se muitas vezes. Os estudos sobre conjuntos de dados de discurso de ódio encontram com frequência um acordo apenas parcial entre pessoas que rotulam as mesmas mensagens. Soluções habituais:

• vários anotadores por mensagem e voto por maioria;
• instruções detalhadas com exemplos;
• pôr de parte os casos «disputados» em vez de forçar um rótulo.

Alguns rótulos estão errados

Nos conjuntos grandes, uma parte dos rótulos é simplesmente um erro: uma frase claramente tóxica marcada como limpa, uma piada marcada como ameaça. Quando revimos as mensagens que o nosso próprio modelo assinalava num conjunto de teste rotulado por pessoas, cerca de metade dos «falsos alarmes» eram na verdade mensagens mal rotuladas no conjunto. Duas consequências:

1. Treino: o modelo aprende alguns erros.
2. Medição: até um modelo perfeito parece pior do que é. As avaliações sérias constroem um conjunto de teste «de referência» (gold) revisto.

Dados reais, dados sintéticos, professores

• As mensagens reais escritas por pessoas são as mais valiosas: calão real, erros reais, contexto real.
• Os dados sintéticos são escritos de propósito por um grande modelo de linguagem para cobrir o que falta: conversas em que o contexto muda o significado, línguas raras, regras difíceis.
• Professor → aluno: um modelo grande (o professor) rotula ou escreve exemplos, e um modelo pequeno e rápido (o aluno) aprende com eles. O aluno pode ficar quase tão bom como o professor nessa tarefa e ser centenas de vezes mais barato de correr. Também herda os erros do professor, por isso as pessoas têm de verificar amostras.

As licenças importam

Os conjuntos de dados públicos têm licenças. Algumas permitem uso comercial (CC0, CC-BY, MIT, Apache), outras proíbem-no («não comercial») e outras exigem que as obras derivadas usem a mesma licença («partilha nos mesmos termos»). As saídas de um modelo também podem ter termos de utilização. Um produto de moderação tem de verificar cada fonte antes de treinar com ela.

O esquecimento

Quando um modelo é treinado de novo apenas com dados novos, pode esquecer o que sabia. A solução habitual é o replay: misturar uma parte dos dados de treino antigos com os novos. É assim que um modelo pode aprender algo novo (por exemplo, não assinalar frases inocentes com nomes estrangeiros) sem piorar em tudo o resto.