Wie Sprachmodelle Text lesen: Tokens, Embeddings und Attention

Schritt 1: Tokens

Ein Modell kann Buchstaben nicht so lesen wie wir. Zuerst zerlegt ein Tokenizer den Text in Tokens. Häufige Wörter sind ein einziges Token, seltene werden in Stücke geteilt:

Text	Mögliche Tokens
„Moderation“	Moder · ation
„hallo“	hallo
„unglaublich!!“	un · glaub · lich · !!

Mehrsprachige Modelle teilen sich ein gemeinsames Vokabular (oft 100.000 bis 250.000 Tokens) über viele Sprachen hinweg, sodass „Beleidigung“, „insult“ und „insulto“ nahe beieinander landen können. Die Anzahl der Tokens bestimmt auch die Kosten: Ein Modell hat eine Höchstlänge (zum Beispiel 256 oder 512 Tokens), und die Rechenzeit wächst mit ihr.

Schritt 2: Embeddings

Jedes Token wird in eine lange Zahlenliste umgewandelt, ein sogenanntes Embedding (zum Beispiel 1.024 Zahlen). Man kann es sich als Koordinaten in einem Raum der Bedeutungen vorstellen: Tokens mit ähnlicher Bedeutung liegen nah beieinander. „Idiot“ und „Trottel“ sind Nachbarn, „Idiot“ und „Tomate“ liegen weit auseinander.

Schritt 3: Attention

Ein Wort allein ist mehrdeutig. In „ich saß auf einer Bank im Park“ und „ich habe ein Konto bei der Bank eröffnet“ bedeutet dasselbe Token zwei verschiedene Dinge. Attention löst das: In jeder Schicht schaut jedes Token auf alle anderen und nimmt die Informationen auf, die zählen. Nach einigen Schichten ist die Darstellung von „Bank“ in beiden Sätzen verschieden.

Das ist der Kern des Transformers, der Architektur hinter fast allen modernen Sprachmodellen. Ein Modell ist ein Stapel solcher Schichten (12, 24, 36 oder mehr): Die ersten erfassen die Grammatik, die späteren Bedeutung, Ton und Absicht.

Encoder und Decoder

Es gibt zwei große Familien:

• Encoder (BERT, XLM-RoBERTa, mmBERT) lesen den ganzen Text auf einmal, in beide Richtungen. Sie liefern eine Darstellung des ganzen Satzes, perfekt zum Klassifizieren: Ist das eine Beleidigung? Ist das ein Spoiler? Sie sind klein und schnell. VigiMod basiert auf einem mehrsprachigen Encoder.
• Decoder (GPT, Llama, Qwen, Mistral) lesen von links nach rechts und erzeugen Text Token für Token. Sie schreiben und schlussfolgern sehr gut, aber das Erzeugen ist langsam, besonders auf einer CPU.

Um mit einem Decoder zu klassifizieren, kann man auf das Erzeugen verzichten und die Wahrscheinlichkeit des ersten Antwort-Tokens („ja“/„nein“) lesen, oder man setzt einen kleinen Klassifikationskopf auf seine interne Darstellung.

Vom Lesen zur Entscheidung

Ein Klassifikator setzt eine kleine letzte Schicht auf das Modell: Sie nimmt die Darstellung des Textes und macht daraus einen Wert pro Kategorie. Das Training passt diese Schicht an und meist auch das Modell darunter (siehe was ist ein Textklassifikator).

Warum Größe zählt (und warum sie nicht alles ist)

Mehr Schichten und mehr Zahlen pro Token erlauben feinere Bedeutungen: Ironie, Zitate, Kontext. Sie bedeuten aber auch mehr Rechenaufwand für jede Nachricht. Ein Encoder mit 0,5 Milliarden Parametern antwortet auf einer CPU in einigen Dutzend Millisekunden; ein Decoder mit 20 Milliarden Parametern, der seine Überlegungen ausschreibt, kann Sekunden brauchen. Für die Moderation eines Live-Chats ist ein kleineres Modell mit den richtigen Trainingsdaten oft die bessere Wahl. Wie Modelle auf gewöhnlichen Computern schnell werden, steht in KI auf einer CPU ausführen.