Comment les modèles de langage lisent le texte : tokens, embeddings et attention

Étape 1 : les tokens

Un modèle ne lit pas les lettres comme nous. Le texte est d'abord découpé en tokens par un tokenizer. Les mots courants forment un seul token ; les mots rares sont coupés en morceaux :

Texte	Tokens possibles
« modération »	modér · ation
« salut »	salut
« incroyable!! »	in · croy · able · !!

Les modèles multilingues partagent un seul vocabulaire (souvent 100 000 à 250 000 tokens) entre de nombreuses langues, si bien que « insulte », « insult » et « Insulto » peuvent se retrouver proches. Le nombre de tokens détermine aussi le coût : un modèle a une longueur maximale (par exemple 256 ou 512 tokens) et le temps de calcul augmente avec elle.

Étape 2 : les embeddings

Chaque token est transformé en une longue liste de nombres, appelée embedding (par exemple 1 024 nombres). On peut l'imaginer comme des coordonnées dans un espace de sens : les tokens de sens proche sont voisins. « Idiot » et « stupide » sont proches ; « idiot » et « tomate » sont éloignés.

Étape 3 : l'attention

Un mot seul est ambigu. Dans « j'ai mangé un avocat » et « j'ai appelé mon avocat », le même token veut dire deux choses différentes. L'attention règle le problème : à chaque couche, chaque token regarde tous les autres et intègre l'information utile. Après quelques couches, la représentation d'« avocat » est différente dans les deux phrases.

C'est le cœur du transformer, l'architecture derrière presque tous les modèles de langage modernes. Un modèle est un empilement de ces couches (12, 24, 36 ou plus) : les premières captent la grammaire, les suivantes le sens, le ton et l'intention.

Encodeurs et décodeurs

Il existe deux grandes familles :

• Les encodeurs (BERT, XLM-RoBERTa, mmBERT) lisent tout le texte d'un coup, dans les deux sens. Ils produisent une représentation de la phrase entière, parfaite pour la classification : est-ce une insulte ? un spoiler ? Ils sont petits et rapides. VigiMod repose sur un encodeur multilingue.
• Les décodeurs (GPT, Llama, Qwen, Mistral) lisent de gauche à droite et génèrent du texte token par token. Ils excellent pour écrire et raisonner, mais générer est lent, surtout sur un processeur.

Pour classer avec un décodeur, on peut éviter la génération et lire la probabilité du premier token de réponse (« oui »/« non »), ou ajouter une petite tête de classification sur sa représentation interne.

De la lecture à la décision

Un classificateur ajoute une petite couche finale au-dessus du modèle : elle prend la représentation du texte et la transforme en un score par catégorie. L'entraînement ajuste cette couche et, en général, le modèle en dessous (voir qu'est-ce qu'un classificateur de texte).

Pourquoi la taille compte (et pourquoi elle ne fait pas tout)

Plus de couches et plus de nombres par token permettent de saisir des nuances plus fines : ironie, citations, contexte. Cela signifie aussi plus de calcul pour chaque message. Un encodeur de 0,5 milliard de paramètres répond en quelques dizaines de millisecondes sur un processeur ; un décodeur de 20 milliards qui écrit son raisonnement peut prendre plusieurs secondes. Pour modérer une discussion en direct, un modèle plus petit entraîné sur les bonnes données est souvent le meilleur choix. Comment on rend les modèles rapides sur des ordinateurs ordinaires est expliqué dans faire tourner l'IA sur un processeur.