# Cómo leen el texto los modelos de lenguaje: tokens, embeddings y atención

> Los ordenadores no leen palabras. Cómo un modelo de lenguaje convierte una frase en tokens y números, y cómo la atención le permite entender el significado.

Source: https://www.vigimod.com/es/learn/how-language-models-read-text · VigiMod (https://www.vigimod.com) · actualizado el 2026-11-11 · 7 min

## En resumen

- El texto se corta en tokens: palabras enteras, trozos de palabras o caracteres sueltos.
- Cada token se convierte en una lista de números (un embedding) que recoge su significado.
- La atención permite que cada token mire a los demás, así «banco» significa un asiento o una entidad financiera según la frase.
- Los encoders leen todo el texto a la vez y son ideales para clasificar; los decoders generan texto token a token.

## Paso 1: tokens

Un modelo no puede leer letras como nosotros. Primero un *tokenizador* corta el texto en **tokens**. Las palabras comunes son un solo token; las raras se dividen en trozos:

| Texto | Tokens posibles |
|---|---|
| «moderación» | moder · ación |
| «hola» | hola |
| «increíble!!» | in · creí · ble · !! |

Los modelos multilingües comparten un único vocabulario (a menudo de 100.000 a 250.000 tokens) entre muchos idiomas, así que «insulto», «insult» e «Insulte» pueden acabar cerca unos de otros. El número de tokens también decide el coste: un modelo tiene una longitud máxima (por ejemplo 256 o 512 tokens) y el tiempo que tarda crece con ella.

## Paso 2: embeddings

Cada token se convierte en una larga lista de números llamada **embedding** (por ejemplo 1.024 números). Puedes imaginarla como coordenadas en un espacio de significados: los tokens con significado parecido están cerca. «Idiota» y «estúpido» son vecinos; «idiota» y «tomate» están lejos.

## Paso 3: atención

Una palabra sola es ambigua. En «me senté en un banco del parque» y «abrí una cuenta en el banco», el mismo token significa dos cosas distintas. La **atención** lo resuelve: en cada capa, cada token mira a todos los demás y toma la información que importa. Tras unas cuantas capas, la representación de «banco» es distinta en las dos frases.

Este es el núcleo del **transformer**, la arquitectura detrás de casi todos los modelos de lenguaje modernos. Un modelo es una pila de estas capas (12, 24, 36 o más): las primeras captan la gramática, las siguientes el significado, el tono y la intención.

## Encoders y decoders

Hay dos grandes familias:

- Los **encoders** (BERT, XLM-RoBERTa, mmBERT) leen todo el texto a la vez, en ambas direcciones. Producen una representación de la frase completa, perfecta para **clasificar**: ¿es un insulto? ¿es un spoiler? Son pequeños y rápidos. VigiMod está construido sobre un encoder multilingüe.
- Los **decoders** (GPT, Llama, Qwen, Mistral) leen de izquierda a derecha y **generan** texto token a token. Son muy buenos escribiendo y razonando, pero generar es lento, sobre todo en una CPU.

Para clasificar con un decoder se puede evitar la generación y leer la probabilidad del primer token de respuesta («sí»/«no»), o añadir una pequeña cabeza de clasificación sobre su representación interna.

## De la lectura a la decisión

Un clasificador añade una pequeña capa final encima del modelo: toma la representación del texto y la convierte en una puntuación por categoría. El entrenamiento ajusta esta capa y, normalmente, también el modelo que hay debajo (ver [qué es un clasificador de texto](https://www.vigimod.com/es/learn/what-is-a-text-classifier)).

## Por qué importa el tamaño (y por qué no lo es todo)

Más capas y más números por token permiten captar matices más sutiles: ironía, citas, contexto. También suponen más cálculo por cada mensaje. Un encoder de 0,5 mil millones de parámetros responde en unas decenas de milisegundos en una CPU; un decoder de 20 mil millones que escribe su razonamiento puede tardar segundos. Para moderar un chat en directo, un modelo más pequeño entrenado con los datos adecuados suele ser la mejor opción. Cómo se hacen rápidos los modelos en ordenadores normales se explica en [ejecutar IA en una CPU](https://www.vigimod.com/es/learn/running-ai-on-a-cpu).

## Cuestionario

1. ¿Qué es un token?
   Respuesta: Un trozo de texto que lee el modelo: una palabra, parte de una palabra o un carácter. El texto se corta en tokens antes de que el modelo lo lea.
2. ¿Qué recoge un embedding?
   Respuesta: El significado de un token como lista de números. Los tokens con significado parecido tienen embeddings cercanos.
3. ¿Qué problema resuelve la atención?
   Respuesta: Permite que cada palabra tome su significado del resto de la frase. «Banco» significa cosas distintas según las otras palabras.
4. ¿Qué familia suele ser la mejor para clasificar rápido?
   Respuesta: Los encoders. Los encoders leen todo el texto a la vez y no necesitan generar nada.