# Datos de entrenamiento y etiquetas: un modelo vale lo que sus ejemplos

> De dónde salen los datos de entrenamiento de la moderación, por qué fallan las etiquetas, qué son los datos sintéticos y por qué importan las licencias.

Source: https://www.vigimod.com/es/learn/training-data-and-labels · VigiMod (https://www.vigimod.com) · actualizado el 2026-11-11 · 6 min

## En resumen

- Un modelo aprende de ejemplos etiquetados: las etiquetas definen qué es «tóxico» para él.
- Las personas no se ponen de acuerdo en las etiquetas, sobre todo con el odio y la ironía; algunas etiquetas están directamente mal.
- Los modelos grandes pueden escribir y etiquetar ejemplos (profesor → alumno), pero hay que revisarlos.
- Cada conjunto de datos tiene una licencia: no todos se pueden usar en un producto comercial.

## Las etiquetas son la definición

Cuando se entrena un modelo, nunca ve la definición de diccionario de «insulto». Ve miles de mensajes que las personas marcaron como insultos o no. **Las etiquetas son la definición.** Si son incoherentes, el modelo aprende una idea incoherente.

## Las personas no están de acuerdo

En los casos claros todos coinciden. En el discurso de odio, la ironía, los insultos reapropiados o los insultos políticos, los anotadores a menudo se dividen. Los estudios sobre conjuntos de datos de odio encuentran con frecuencia un acuerdo solo parcial entre personas que etiquetan los mismos mensajes. Soluciones habituales:

- varios anotadores por mensaje y voto por mayoría;
- instrucciones detalladas con ejemplos;
- apartar los casos «discutidos» en lugar de forzar una etiqueta.

## Algunas etiquetas están mal

En los conjuntos grandes, una parte de las etiquetas es simplemente un error: una frase claramente tóxica marcada como limpia, una broma marcada como amenaza. Cuando revisamos los mensajes que nuestro propio modelo marcaba en un conjunto de prueba etiquetado por personas, cerca de la mitad de las «falsas alarmas» eran en realidad mensajes mal etiquetados en el conjunto. Dos consecuencias:

1. **Entrenamiento:** el modelo aprende algunos errores.
2. **Medición:** incluso un modelo perfecto parece peor de lo que es. Las evaluaciones serias construyen un conjunto de prueba «de referencia» (gold) revisado.

## Datos reales, datos sintéticos, profesores

- Los **mensajes reales** escritos por personas son los más valiosos: jerga real, errores reales, contexto real.
- Los **datos sintéticos** los escribe a propósito un gran modelo de lenguaje, para cubrir lo que falta: conversaciones en las que el contexto cambia el significado, idiomas poco comunes, reglas difíciles.
- **Profesor → alumno:** un modelo grande (el profesor) etiqueta o escribe ejemplos y un modelo pequeño y rápido (el alumno) aprende de ellos. El alumno puede llegar a ser casi tan bueno como el profesor en esa tarea y cientos de veces más barato de ejecutar. También hereda los errores del profesor, así que las personas deben revisar muestras.

## Las licencias importan

Los conjuntos de datos públicos tienen licencia. Algunas permiten el uso comercial (CC0, CC-BY, MIT, Apache), otras lo prohíben («no comercial») y otras exigen que las obras derivadas usen la misma licencia («compartir igual»). Las salidas de un modelo también pueden tener condiciones de uso. Un producto de moderación debe revisar cada fuente antes de entrenar con ella.

## El olvido

Cuando un modelo se vuelve a entrenar solo con datos nuevos, puede **olvidar** lo que sabía. La solución habitual es el **replay**: mezclar una parte de los datos de entrenamiento antiguos con los nuevos. Así un modelo puede aprender algo nuevo (por ejemplo, [no marcar frases inocentes con nombres extranjeros](https://www.vigimod.com/es/learn/bias-in-moderation-models)) sin empeorar en todo lo demás.

## Cuestionario

1. Para un modelo, ¿qué define lo que significa «insulto»?
   Respuesta: Las etiquetas de sus datos de entrenamiento. El modelo solo ve ejemplos etiquetados.
2. ¿Qué es un conjunto de prueba «gold»?
   Respuesta: Un conjunto de prueba cuyas etiquetas se han revisado con cuidado. Las etiquetas revisadas hacen fiables las mediciones.
3. En el entrenamiento profesor → alumno…
   Respuesta: un modelo pequeño aprende de ejemplos escritos o etiquetados por uno grande. El alumno se vuelve rápido y barato, pero hereda los errores del profesor.
4. ¿Para qué sirve el «replay»?
   Respuesta: Para evitar que el modelo olvide lo que sabía al entrenarlo con datos nuevos. Mezclar datos antiguos con los nuevos evita el olvido.