Große Sprachmodelle verstehen: LLMs, Tokens und Transformer

Chat-Assistenten wirken heute so selbstverständlich, dass leicht in Vergessenheit gerät, wie ungewöhnlich die Technik dahinter eigentlich ist. Wer einem großen Sprachmodell eine Frage stellt, spricht nicht mit einer Datenbank und auch nicht mit einer Suchmaschine. Dahinter steckt ein statistisches Modell, das gelernt hat, Sprache fortzusetzen. Dieser Ratgeber erklärt Schritt für Schritt, was ein Large Language Model ist, wie es Text verarbeitet, warum die Transformer-Architektur den Durchbruch gebracht hat und wo die ehrlichen Grenzen dieser Modelle liegen.

Was ein großes Sprachmodell überhaupt ist

Ein Large Language Model, kurz LLM, ist ein neuronales Netz, das auf sehr großen Mengen an Text trainiert wurde. Die Trainingsdaten stammen aus Büchern, Webseiten, Foren, Programmcode und vielem mehr. Das Ziel des Trainings klingt zunächst unspektakulär: Das Modell soll lernen, das jeweils nächste Textstück vorherzusagen. Man zeigt ihm einen Anfang und lässt es raten, wie es weitergeht.

Genau diese scheinbar simple Aufgabe zwingt das Modell dazu, sehr viel über Sprache zu lernen. Um den Satz “Die Hauptstadt von Frankreich ist …” sinnvoll fortzusetzen, muss das Modell Grammatik beherrschen, Zusammenhänge erkennen und faktisches Wissen aus den Trainingsdaten verinnerlicht haben. Was am Ende wie Verstehen aussieht, ist im Kern eine extrem gut trainierte Vorhersage. Wenn Du die Grundlagen dazu vertiefen möchtest, lohnt sich vorab der Ratgeber Wie neuronale Netze lernen.

Die Größe dieser Modelle wird oft in Parametern gemessen. Parameter sind die einstellbaren Werte im Netz, die während des Trainings angepasst werden. Moderne Modelle haben viele Milliarden davon. Mehr Parameter bedeuten grundsätzlich mehr Kapazität, Muster zu speichern, garantieren aber allein noch keine bessere Qualität.

Tokenisierung: Wie Text zu Zahlen wird

Ein neuronales Netz rechnet mit Zahlen, nicht mit Buchstaben. Bevor ein Modell einen Text verarbeiten kann, wird dieser deshalb in kleine Einheiten zerlegt. Diese Einheiten heissen Tokens. Ein Token ist häufig ein ganzes Wort, kann aber auch nur ein Wortteil, ein Satzzeichen oder ein Leerzeichen sein.

Kurze, häufige Wörter bilden oft ein einziges Token. Längere oder seltenere Wörter werden in mehrere Tokens aufgespalten. Das Wort “Sprachmodell” könnte beispielsweise in “Sprach” und “modell” zerlegt werden, das Wort “Tokenisierung” vielleicht in “Token”, “isier” und “ung”. Für das Modell ist jedes dieser Tokens eine eigene Zahl in seinem Vokabular.

Diese Zerlegung hat praktische Folgen. Erstens rechnen Anbieter ihre Kosten und Limits meist in Tokens ab, nicht in Wörtern. Als grobe Faustregel entsprechen im Deutschen etwa 100 Tokens ungefähr 60 bis 80 Wörtern, je nach Text. Zweitens erklärt die Tokenisierung, warum Modelle manchmal an überraschenden Stellen stolpern, etwa beim Zählen von Buchstaben in einem Wort. Das Modell sieht eben keine einzelnen Buchstaben, sondern Tokens.

Die Transformer-Architektur und Self-Attention

Der eigentliche Durchbruch der heutigen Sprachmodelle geht auf eine Architektur zurück, die 2017 unter dem Titel “Attention Is All You Need” vorgestellt wurde: den Transformer. Um seine Bedeutung zu verstehen, hilft ein Blick auf das, was davor üblich war.

Warum ältere Ansätze an Grenzen stiessen

Früher wurden Texte oft mit rekurrenten neuronalen Netzen verarbeitet, kurz RNN. Diese lesen einen Text Wort für Wort, ganz ähnlich wie ein Mensch von links nach rechts. Das klingt naheliegend, hat aber zwei Nachteile. Zum einen fällt es solchen Netzen schwer, Bezüge über lange Distanzen zu behalten. Wenn zwischen einem Pronomen und dem gemeinten Substantiv viele Wörter liegen, geht der Zusammenhang leicht verloren. Zum anderen ist die schrittweise Verarbeitung schwer zu parallelisieren, weil jeder Schritt auf dem vorherigen aufbaut. Das bremst das Training auf großen Datenmengen erheblich.

Was Self-Attention anders macht

Der Transformer löst beide Probleme mit einem Mechanismus namens Self-Attention, auf Deutsch etwa Selbst-Aufmerksamkeit. Statt einen Text streng der Reihe nach zu lesen, betrachtet das Modell alle Tokens einer Sequenz gleichzeitig. Für jedes einzelne Token bewertet es, wie relevant jedes andere Token für dessen Bedeutung ist, und gewichtet sie entsprechend.

Ein Beispiel: Im Satz “Der Schrank passt nicht durch die Tür, weil er zu breit ist” muss das Modell erkennen, dass sich “er” auf den Schrank bezieht und nicht auf die Tür. Self-Attention erlaubt es, genau diese Verbindung direkt herzustellen, unabhängig davon, wie viele Wörter dazwischenstehen. Jedes Token darf sozusagen auf alle anderen schauen und entscheiden, worauf es seine Aufmerksamkeit richtet.

Weil diese Bewertung für alle Tokens parallel abläuft, lassen sich Transformer deutlich besser auf moderner Hardware trainieren als RNN. Genau diese Kombination aus besserem Umgang mit langen Zusammenhängen und guter Parallelisierbarkeit hat den Weg zu den heutigen großen Modellen geebnet. In der Praxis stapeln Modelle viele solcher Attention-Schichten übereinander, sodass in tieferen Schichten immer abstraktere Muster entstehen.

Vortraining und Feinjustierung

Ein einsatzfähiger Chat-Assistent entsteht typischerweise in mehreren Stufen. Die erste und aufwändigste ist das Vortraining, oft Pretraining genannt.

Im Vortraining lernt das Modell an riesigen Textmengen ausschließlich die Vorhersage des nächsten Tokens. Das Ergebnis ist ein Modell mit breitem Sprach- und Weltwissen, das jedoch noch nicht gut darin ist, konkreten Anweisungen zu folgen. Es setzt Text fort, aber es beantwortet nicht unbedingt hilfreich Deine Frage.

Deshalb folgt die Feinjustierung, das Fine-Tuning. Dabei wird das vortrainierte Modell mit deutlich kleineren, sorgfältig aufbereiteten Datensätzen weitertrainiert, etwa mit Beispielen für gute Frage-Antwort-Paare. Eine besonders wichtige Variante ist das Reinforcement Learning from Human Feedback, kurz RLHF. Hier bewerten Menschen verschiedene Modellantworten, und das Modell wird darauf trainiert, jene Antworten zu bevorzugen, die Menschen als hilfreicher, sicherer oder korrekter einstufen. So wird aus einem reinen Textfortsetzer ein Assistent, der Anweisungen folgt und einen brauchbaren Umgangston pflegt.

Merkmal	Vortraining (Pretraining)	Feinjustierung (Fine-Tuning)
Datenmenge	sehr groß, breit gestreut	klein, gezielt ausgewählt
Ziel	nächstes Token vorhersagen	Anweisungen folgen, Verhalten formen
Aufwand	sehr hoch, rechenintensiv	vergleichsweise gering
Ergebnis	breites Grundwissen	hilfreicher, gesteuerter Assistent

Das Kontextfenster und seine Grenzen

Ein LLM kann nicht beliebig viel Text auf einmal berücksichtigen. Die Menge an Tokens, die es gleichzeitig verarbeiten kann, heisst Kontextfenster. Dieses Fenster umfasst sowohl Deine Eingabe als auch die bisherige Unterhaltung und die Antwort, die das Modell gerade erzeugt.

Solange alles Wichtige in dieses Fenster passt, kann das Modell auf den gesamten Zusammenhang zugreifen. Wird das Limit jedoch überschritten, muss ältester Inhalt weichen. In vielen Chat-Oberflächen bedeutet das, dass früher Gesagtes aus dem Blick gerät. Das Modell “vergisst” dann nicht im menschlichen Sinne, sondern es sieht diese Passagen schlicht nicht mehr. Die Folge können Antworten sein, die früheren Aussagen widersprechen oder Bezüge verlieren.

Für die Praxis heisst das: Bei langen Unterhaltungen lohnt es sich, zentrale Informationen bei Bedarf zu wiederholen oder kurz zusammenzufassen. Wer präzise formuliert und Wichtiges nach vorne stellt, nutzt das Kontextfenster effizienter. Wie Du Deine Eingaben insgesamt klarer gestaltest, zeigt der Ratgeber Bessere Prompts schreiben.

Warum Modelle halluzinieren

Der wohl häufigste Kritikpunkt an Sprachmodellen sind sogenannte Halluzinationen. Damit sind Antworten gemeint, die flüssig und selbstbewusst klingen, aber sachlich falsch oder frei erfunden sind. Erfundene Quellen, falsche Jahreszahlen oder Namen, die es nie gab, sind typische Beispiele.

Der Grund liegt in der Funktionsweise selbst. Ein LLM ist kein Faktenspeicher, aus dem gesicherte Wahrheiten abgerufen werden. Es erzeugt Token für Token die jeweils wahrscheinlichste Fortsetzung. Wenn eine falsche Aussage im Kontext sprachlich plausibel wirkt, kann das Modell sie mit derselben Überzeugung formulieren wie eine korrekte. Das Modell optimiert auf Plausibilität, nicht auf Wahrheit. Beides fällt oft zusammen, aber eben nicht immer.

Dagegen lässt sich einiges tun. Der wichtigste Grundsatz lautet: Wichtige Fakten immer selbst prüfen, besonders bei Zahlen, Zitaten und rechtlichen oder medizinischen Themen. Technisch hilft ausserdem ein Verfahren namens Retrieval-Augmented Generation, kurz RAG. Dabei bekommt das Modell zu einer Frage passende, verlässliche Textstellen mitgeliefert und stützt seine Antwort auf diese bereitgestellten Quellen, statt allein aus dem Gedächtnis zu schöpfen. Das reduziert Halluzinationen spürbar, schließt sie aber nicht vollständig aus.

Ehrliche Grenzen der Technik

So beeindruckend die Ergebnisse sind, ein realistisches Bild gehört dazu. Große Sprachmodelle haben klare Grenzen, die man kennen sollte.

Erstens besitzen sie kein Verständnis und kein Bewusstsein im menschlichen Sinne. Sie modellieren Sprache statistisch. Wenn eine Antwort einsichtig wirkt, ist das ein Ergebnis gut gelernter Muster, nicht ein Zeichen von Einsicht. Diese Unterscheidung ist keine Haarspalterei, sondern hilft, die Ausgaben richtig einzuordnen.

Zweitens haben Modelle einen Wissensstichtag. Ihr Trainingsdatenbestand endet zu einem bestimmten Zeitpunkt. Ereignisse danach kennen sie nur, wenn ihnen die Informationen ausdrücklich mitgeliefert werden, etwa über angebundene Werkzeuge oder RAG. Fragen nach ganz aktuellen Entwicklungen sollte man deshalb mit Vorsicht behandeln.

Drittens können Modelle Verzerrungen aus ihren Trainingsdaten übernehmen, den sogenannten Bias. Wenn bestimmte Sichtweisen oder Formulierungen in den Daten überrepräsentiert sind, spiegeln sich diese Tendenzen in den Antworten wider. Ein bewusster, kritischer Umgang bleibt daher wichtig, gerade bei sensiblen Themen.

Das Wichtigste im Überblick

Ein großes Sprachmodell ist ein auf riesigen Textmengen trainiertes neuronales Netz, das jeweils das nächste Token vorhersagt. Der Text wird dafür in Tokens zerlegt, die Transformer-Architektur mit Self-Attention erlaubt es dem Modell, Zusammenhänge über die gesamte Sequenz hinweg zu gewichten, und die Kombination aus Vortraining und Feinjustierung macht aus einem reinen Textfortsetzer einen hilfreichen Assistenten.

Wer diese Grundlagen kennt, versteht auch die Eigenheiten besser: das begrenzte Kontextfenster, die Neigung zu Halluzinationen und die grundsätzlichen Grenzen ohne echtes Verständnis. Mit diesem Wissen lässt sich die Technik deutlich souveräner und kritischer nutzen.

Wenn Du Dein Verständnis testen möchtest, kannst Du auf ki-lernen.net das Quiz starten und die zentralen Begriffe aus diesem Ratgeber gleich anwenden. Die passenden Definitionen findest Du bei Bedarf ausserdem im Glossar der Seite.