# Wie Sprachmodelle Text lesen: Tokens, Embeddings und Attention

> Computer lesen keine Wörter. Wie ein Sprachmodell einen Satz in Tokens und Zahlen verwandelt und wie Attention ihm hilft, die Bedeutung zu verstehen.

Source: https://www.vigimod.com/de/learn/how-language-models-read-text · VigiMod (https://www.vigimod.com) · aktualisiert am 2026-11-11 · 7 min

## Kurz gesagt

- Text wird in Tokens zerlegt: ganze Wörter, Wortteile oder einzelne Zeichen.
- Jedes Token wird zu einer Zahlenliste (einem Embedding), die seine Bedeutung erfasst.
- Durch Attention schaut jedes Token auf die anderen, sodass „Bank“ je nach Satz eine Sitzbank oder ein Geldinstitut ist.
- Encoder lesen den ganzen Text auf einmal und eignen sich ideal zum Klassifizieren; Decoder erzeugen Text Token für Token.

## Schritt 1: Tokens

Ein Modell kann Buchstaben nicht so lesen wie wir. Zuerst zerlegt ein *Tokenizer* den Text in **Tokens**. Häufige Wörter sind ein einziges Token, seltene werden in Stücke geteilt:

| Text | Mögliche Tokens |
|---|---|
| „Moderation“ | Moder · ation |
| „hallo“ | hallo |
| „unglaublich!!“ | un · glaub · lich · !! |

Mehrsprachige Modelle teilen sich ein gemeinsames Vokabular (oft 100.000 bis 250.000 Tokens) über viele Sprachen hinweg, sodass „Beleidigung“, „insult“ und „insulto“ nahe beieinander landen können. Die Anzahl der Tokens bestimmt auch die Kosten: Ein Modell hat eine Höchstlänge (zum Beispiel 256 oder 512 Tokens), und die Rechenzeit wächst mit ihr.

## Schritt 2: Embeddings

Jedes Token wird in eine lange Zahlenliste umgewandelt, ein sogenanntes **Embedding** (zum Beispiel 1.024 Zahlen). Man kann es sich als Koordinaten in einem Raum der Bedeutungen vorstellen: Tokens mit ähnlicher Bedeutung liegen nah beieinander. „Idiot“ und „Trottel“ sind Nachbarn, „Idiot“ und „Tomate“ liegen weit auseinander.

## Schritt 3: Attention

Ein Wort allein ist mehrdeutig. In „ich saß auf einer Bank im Park“ und „ich habe ein Konto bei der Bank eröffnet“ bedeutet dasselbe Token zwei verschiedene Dinge. **Attention** löst das: In jeder Schicht schaut jedes Token auf alle anderen und nimmt die Informationen auf, die zählen. Nach einigen Schichten ist die Darstellung von „Bank“ in beiden Sätzen verschieden.

Das ist der Kern des **Transformers**, der Architektur hinter fast allen modernen Sprachmodellen. Ein Modell ist ein Stapel solcher Schichten (12, 24, 36 oder mehr): Die ersten erfassen die Grammatik, die späteren Bedeutung, Ton und Absicht.

## Encoder und Decoder

Es gibt zwei große Familien:

- **Encoder** (BERT, XLM-RoBERTa, mmBERT) lesen den ganzen Text auf einmal, in beide Richtungen. Sie liefern eine Darstellung des ganzen Satzes, perfekt zum **Klassifizieren**: Ist das eine Beleidigung? Ist das ein Spoiler? Sie sind klein und schnell. VigiMod basiert auf einem mehrsprachigen Encoder.
- **Decoder** (GPT, Llama, Qwen, Mistral) lesen von links nach rechts und **erzeugen** Text Token für Token. Sie schreiben und schlussfolgern sehr gut, aber das Erzeugen ist langsam, besonders auf einer CPU.

Um mit einem Decoder zu klassifizieren, kann man auf das Erzeugen verzichten und die Wahrscheinlichkeit des ersten Antwort-Tokens („ja“/„nein“) lesen, oder man setzt einen kleinen Klassifikationskopf auf seine interne Darstellung.

## Vom Lesen zur Entscheidung

Ein Klassifikator setzt eine kleine letzte Schicht auf das Modell: Sie nimmt die Darstellung des Textes und macht daraus einen Wert pro Kategorie. Das Training passt diese Schicht an und meist auch das Modell darunter (siehe [was ist ein Textklassifikator](https://www.vigimod.com/de/learn/what-is-a-text-classifier)).

## Warum Größe zählt (und warum sie nicht alles ist)

Mehr Schichten und mehr Zahlen pro Token erlauben feinere Bedeutungen: Ironie, Zitate, Kontext. Sie bedeuten aber auch mehr Rechenaufwand für jede Nachricht. Ein Encoder mit 0,5 Milliarden Parametern antwortet auf einer CPU in einigen Dutzend Millisekunden; ein Decoder mit 20 Milliarden Parametern, der seine Überlegungen ausschreibt, kann Sekunden brauchen. Für die Moderation eines Live-Chats ist ein kleineres Modell mit den richtigen Trainingsdaten oft die bessere Wahl. Wie Modelle auf gewöhnlichen Computern schnell werden, steht in [KI auf einer CPU ausführen](https://www.vigimod.com/de/learn/running-ai-on-a-cpu).

## Quiz

1. Was ist ein Token?
   Antwort: Ein Stück Text, das das Modell liest: ein Wort, ein Wortteil oder ein Zeichen. Text wird in Tokens zerlegt, bevor das Modell ihn liest.
2. Was erfasst ein Embedding?
   Antwort: Die Bedeutung eines Tokens als Zahlenliste. Tokens mit ähnlicher Bedeutung haben nahe beieinanderliegende Embeddings.
3. Welches Problem löst Attention?
   Antwort: Sie lässt jedes Wort seine Bedeutung aus dem Rest des Satzes ziehen. „Bank“ bedeutet je nach den anderen Wörtern etwas anderes.
4. Welche Familie eignet sich meist am besten zum schnellen Klassifizieren?
   Antwort: Encoder. Encoder lesen den ganzen Text auf einmal und müssen nichts erzeugen.