Cómo leen el texto los modelos de lenguaje: tokens, embeddings y atención

Paso 1: tokens

Un modelo no puede leer letras como nosotros. Primero un tokenizador corta el texto en tokens. Las palabras comunes son un solo token; las raras se dividen en trozos:

Texto	Tokens posibles
«moderación»	moder · ación
«hola»	hola
«increíble!!»	in · creí · ble · !!

Los modelos multilingües comparten un único vocabulario (a menudo de 100.000 a 250.000 tokens) entre muchos idiomas, así que «insulto», «insult» e «Insulte» pueden acabar cerca unos de otros. El número de tokens también decide el coste: un modelo tiene una longitud máxima (por ejemplo 256 o 512 tokens) y el tiempo que tarda crece con ella.

Paso 2: embeddings

Cada token se convierte en una larga lista de números llamada embedding (por ejemplo 1.024 números). Puedes imaginarla como coordenadas en un espacio de significados: los tokens con significado parecido están cerca. «Idiota» y «estúpido» son vecinos; «idiota» y «tomate» están lejos.

Paso 3: atención

Una palabra sola es ambigua. En «me senté en un banco del parque» y «abrí una cuenta en el banco», el mismo token significa dos cosas distintas. La atención lo resuelve: en cada capa, cada token mira a todos los demás y toma la información que importa. Tras unas cuantas capas, la representación de «banco» es distinta en las dos frases.

Este es el núcleo del transformer, la arquitectura detrás de casi todos los modelos de lenguaje modernos. Un modelo es una pila de estas capas (12, 24, 36 o más): las primeras captan la gramática, las siguientes el significado, el tono y la intención.

Encoders y decoders

Hay dos grandes familias:

• Los encoders (BERT, XLM-RoBERTa, mmBERT) leen todo el texto a la vez, en ambas direcciones. Producen una representación de la frase completa, perfecta para clasificar: ¿es un insulto? ¿es un spoiler? Son pequeños y rápidos. VigiMod está construido sobre un encoder multilingüe.
• Los decoders (GPT, Llama, Qwen, Mistral) leen de izquierda a derecha y generan texto token a token. Son muy buenos escribiendo y razonando, pero generar es lento, sobre todo en una CPU.

Para clasificar con un decoder se puede evitar la generación y leer la probabilidad del primer token de respuesta («sí»/«no»), o añadir una pequeña cabeza de clasificación sobre su representación interna.

De la lectura a la decisión

Un clasificador añade una pequeña capa final encima del modelo: toma la representación del texto y la convierte en una puntuación por categoría. El entrenamiento ajusta esta capa y, normalmente, también el modelo que hay debajo (ver qué es un clasificador de texto).

Por qué importa el tamaño (y por qué no lo es todo)

Más capas y más números por token permiten captar matices más sutiles: ironía, citas, contexto. También suponen más cálculo por cada mensaje. Un encoder de 0,5 mil millones de parámetros responde en unas decenas de milisegundos en una CPU; un decoder de 20 mil millones que escribe su razonamiento puede tardar segundos. Para moderar un chat en directo, un modelo más pequeño entrenado con los datos adecuados suele ser la mejor opción. Cómo se hacen rápidos los modelos en ordenadores normales se explica en ejecutar IA en una CPU.