# Comment les modèles de langage lisent le texte : tokens, embeddings et attention

> Les ordinateurs ne lisent pas des mots. Comment un modèle de langage change une phrase en tokens et en nombres, et comment l'attention en saisit le sens.

Source: https://www.vigimod.com/fr/learn/how-language-models-read-text · VigiMod (https://www.vigimod.com) · mis à jour le 2026-11-11 · 7 min

## En bref

- Le texte est découpé en tokens : des mots entiers, des morceaux de mots ou des caractères isolés.
- Chaque token devient une liste de nombres (un embedding) qui capture son sens.
- L'attention permet à chaque token de regarder les autres : « avocat » désigne un fruit ou un juriste selon la phrase.
- Les encodeurs lisent tout le texte d'un coup et sont idéaux pour classer ; les décodeurs génèrent du texte token par token.

## Étape 1 : les tokens

Un modèle ne lit pas les lettres comme nous. Le texte est d'abord découpé en **tokens** par un *tokenizer*. Les mots courants forment un seul token ; les mots rares sont coupés en morceaux :

| Texte | Tokens possibles |
|---|---|
| « modération » | modér · ation |
| « salut » | salut |
| « incroyable!! » | in · croy · able · !! |

Les modèles multilingues partagent un seul vocabulaire (souvent 100 000 à 250 000 tokens) entre de nombreuses langues, si bien que « insulte », « insult » et « Insulto » peuvent se retrouver proches. Le nombre de tokens détermine aussi le coût : un modèle a une longueur maximale (par exemple 256 ou 512 tokens) et le temps de calcul augmente avec elle.

## Étape 2 : les embeddings

Chaque token est transformé en une longue liste de nombres, appelée **embedding** (par exemple 1 024 nombres). On peut l'imaginer comme des coordonnées dans un espace de sens : les tokens de sens proche sont voisins. « Idiot » et « stupide » sont proches ; « idiot » et « tomate » sont éloignés.

## Étape 3 : l'attention

Un mot seul est ambigu. Dans « j'ai mangé un avocat » et « j'ai appelé mon avocat », le même token veut dire deux choses différentes. L'**attention** règle le problème : à chaque couche, chaque token regarde tous les autres et intègre l'information utile. Après quelques couches, la représentation d'« avocat » est différente dans les deux phrases.

C'est le cœur du **transformer**, l'architecture derrière presque tous les modèles de langage modernes. Un modèle est un empilement de ces couches (12, 24, 36 ou plus) : les premières captent la grammaire, les suivantes le sens, le ton et l'intention.

## Encodeurs et décodeurs

Il existe deux grandes familles :

- Les **encodeurs** (BERT, XLM-RoBERTa, mmBERT) lisent tout le texte d'un coup, dans les deux sens. Ils produisent une représentation de la phrase entière, parfaite pour la **classification** : est-ce une insulte ? un spoiler ? Ils sont petits et rapides. VigiMod repose sur un encodeur multilingue.
- Les **décodeurs** (GPT, Llama, Qwen, Mistral) lisent de gauche à droite et **génèrent** du texte token par token. Ils excellent pour écrire et raisonner, mais générer est lent, surtout sur un processeur.

Pour classer avec un décodeur, on peut éviter la génération et lire la probabilité du premier token de réponse (« oui »/« non »), ou ajouter une petite tête de classification sur sa représentation interne.

## De la lecture à la décision

Un classificateur ajoute une petite couche finale au-dessus du modèle : elle prend la représentation du texte et la transforme en un score par catégorie. L'entraînement ajuste cette couche et, en général, le modèle en dessous (voir [qu'est-ce qu'un classificateur de texte](https://www.vigimod.com/fr/learn/what-is-a-text-classifier)).

## Pourquoi la taille compte (et pourquoi elle ne fait pas tout)

Plus de couches et plus de nombres par token permettent de saisir des nuances plus fines : ironie, citations, contexte. Cela signifie aussi plus de calcul pour chaque message. Un encodeur de 0,5 milliard de paramètres répond en quelques dizaines de millisecondes sur un processeur ; un décodeur de 20 milliards qui écrit son raisonnement peut prendre plusieurs secondes. Pour modérer une discussion en direct, un modèle plus petit entraîné sur les bonnes données est souvent le meilleur choix. Comment on rend les modèles rapides sur des ordinateurs ordinaires est expliqué dans [faire tourner l'IA sur un processeur](https://www.vigimod.com/fr/learn/running-ai-on-a-cpu).

## Quiz

1. Qu'est-ce qu'un token ?
   Réponse: Un morceau de texte que lit le modèle : un mot, une partie de mot ou un caractère. Le texte est découpé en tokens avant que le modèle le lise.
2. Que capture un embedding ?
   Réponse: Le sens d'un token sous forme de liste de nombres. Les tokens de sens proche ont des embeddings proches.
3. Quel problème l'attention résout-elle ?
   Réponse: Elle permet à chaque mot de tirer son sens du reste de la phrase. « Avocat » n'a pas le même sens selon les autres mots.
4. Quelle famille est en général la meilleure pour classer rapidement ?
   Réponse: Les encodeurs. Les encodeurs lisent tout le texte d'un coup et n'ont rien à générer.