Token-Ökonomie – warum jede Nachricht die ganze Historie bezahlt

Ein Chat sieht aus wie ein Gespräch. Du schreibst etwas, es antwortet, du schreibst zurück. Technisch passiert etwas anderes. Ein Sprachmodell hat zwischen zwei Aufrufen keinen Zustand. Es erinnert sich an nichts.

Was wie Gedächtnis aussieht, baut die Anwendung bei jedem Senden neu zusammen. Sie nimmt die Systemanweisungen, alle hochgeladenen Dateien, die Beschreibungen der verfügbaren Werkzeuge und den kompletten bisherigen Verlauf, hängt deine neue Nachricht hinten an und schickt das Ganze als einen einzigen Text los. Bei jeder Nachricht. Von vorn.

Drei Sorten Token

Abgerechnet wird in Token, also in Textstücken von etwa vier Zeichen. Getrennt nach drei Sorten. Der Unterschied zwischen ihnen ist der Grund, warum dieselbe Arbeit sich im Preis um ein Vielfaches unterscheiden kann.

Die absoluten Preise fallen seit Jahren. Die Verhältnisse zwischen den drei Sorten sind stabil geblieben. Mit ihnen lässt sich rechnen, ohne dass die Rechnung nächsten Monat falsch ist.

Auch mit Flatrate

Die meisten zahlen keine Rechnung pro Token, sondern ein Abo. Der Mechanismus gilt trotzdem, er wird nur in einer anderen Währung sichtbar: in Nutzungslimits, die früher greifen, und in Wartezeit, weil ein langer Verlauf vor jeder Antwort erst verarbeitet werden muss.

Dazu kommt der Teil, der von jedem Preismodell unabhängig ist. Ein überladener Kontext ist nicht nur teurer, er senkt auch die Trefferquote des Modells. Was Geld spart, spart hier also auch Aufmerksamkeit. Warum das so ist, steht in Schritt 4.

Was du nach dieser Lesson kannst

• Ausrechnen, wie oft du den Inhalt einer laufenden Session bereits bezahlt hast
• Einen Prompt so anordnen, dass der wiederholte Teil billig bleibt
• Die fünf Handlungen erkennen, die den Zwischenspeicher wegwerfen
• Eine Session gezielt beenden und den Stand ohne Verlust übergeben
• Entscheiden, wann eine höhere Denkstufe etwas bringt und wann sie nur dauert

Der wichtigste Effekt in diesem Thema braucht keine Preise, nur eine Multiplikation.

Angenommen, jeder Turn, also deine Frage plus die Antwort, fügt dem Verlauf 500 Token hinzu. Nach zwanzig Turns ist der Chat 10.000 Token lang. Das ist seine Länge. Bezahlt hast du etwas anderes: die Summe aller Zwischenstände.

105.000 statt 10.000. Faktor 10,5. Der Chat wächst gleichmäßig, die Rechnung wächst quadratisch.

Wie schnell das kippt

Der Faktor entspricht ungefähr der halben Anzahl der Turns. Wer hundert Nachrichten in einem Chat wechselt, hat den Inhalt fünfzigmal bezahlt.

Warum das trotzdem selten auffällt

Zwei Gründe. Erstens greift ab einer gewissen Länge ein Zwischenspeicher, der den wiederholten Teil deutlich billiger macht. Genau darum geht es im nächsten Schritt. Zweitens sind die Beträge pro einzelner Nachricht klein genug, dass niemand hinschaut.

Sichtbar wird der Effekt an zwei Stellen: dort, wo dieselbe Art Session hundertfach am Tag läuft, und dort, wo ein Agent zweihundert Schritte hintereinander macht, ohne dass jemand danebensitzt. In beiden Fällen ist die Formel oben dieselbe, nur die Stückzahl ist eine andere.

Weil der wiederholte Teil so groß ist, speichern alle großen Anbieter die Vorarbeit dafür zwischen. Der Fachbegriff dafür ist Prompt Caching. Gespeichert wird nicht der Text, sondern der bereits verarbeitete Zustand dazu.

Von vorn, Zeichen für Zeichen

Der Abgleich läuft strikt vom Anfang der Anfrage aus. Der Anbieter vergleicht deine neue Anfrage mit der gespeicherten, Zeichen für Zeichen, so weit sie übereinstimmen. Dieser übereinstimmende Anfang heißt Präfix. Er kommt billig aus dem Speicher.

Ab der ersten Abweichung ist Schluss. Alles danach wird voll berechnet, auch wenn es Wort für Wort identisch mit dem ist, was vorher schon einmal da war. Der Speicher kennt keine Lücken, nur einen zusammenhängenden Anfang.

Daraus folgt genau eine Regel

Statisches nach vorn, Dynamisches nach hinten. Was sich nie ändert, steht ganz oben. Was sich bei jeder Anfrage ändert, steht ganz unten. Alles dazwischen sortiert sich nach seiner Beständigkeit.

Was das im Alltag heißt

• Dauerhafte Regeln gehören nicht in jede Nachricht, sondern in eine Projektanweisung oder Anweisungsdatei, die immer an derselben Stelle vorn steht.
• Referenzdokumente einmal anhängen und liegen lassen schlägt sie in jeder Runde neu mitzuschicken.
• Das aktuelle Datum, eine Anrede oder eine Vorgangsnummer ganz oben kostet dich den gesamten Rest. Wenn du solche Angaben brauchst, gehören sie ans Ende.

Rechnet sich das? Ja, und zwar früh. Wenn das Anlegen 1,25 kostet und jedes Lesen 0,1, liegst du bereits beim zweiten Aufruf unter dem, was zwei ungespeicherte Aufrufe gekostet hätten. Die verbreitete Angabe, es brauche 1,4 Lesezugriffe bis zum Break-Even, hält der Nachrechnung nicht stand.

Die Regel aus Schritt 2 ist einfach. Interessant wird es dort, wo du sie brichst, ohne es zu merken. Fünf Handlungen tun genau das, und alle fünf gehören zum normalen Arbeitsalltag.

Die Rangfolge dahinter

Die fünf Punkte sind keine Liste zum Auswendiglernen, sie folgen aus einer festen Rangfolge im Aufbau der Anfrage. Ganz oben stehen die Werkzeuge, darunter die Systemanweisung, darunter die Nachrichten. Eine Änderung reißt immer alles mit, was unter ihr liegt.

Der Fall, den niemand kommen sieht

Fünf Minuten Inaktivität sind kürzer als jedes Meeting, jedes Telefonat und die meisten Kaffeepausen. Wer nach vierzig Minuten in dieselbe Session zurückkehrt und weiterschreibt, bezahlt den kompletten bisherigen Verlauf noch einmal zum vollen Preis. Die Nachricht danach war vielleicht drei Wörter lang.

Genau an dieser Stelle trennen sich zwei Antworten. Die eine hält die Session künstlich am Leben. Die andere beendet sie. Die zweite ist die bessere, und sie steht in Schritt 5.

Bis hierher ging es um Geld. Jetzt kommt der Teil, der auch dann zählt, wenn du eine Flatrate hast.

Kontextfenster sind in den letzten Jahren stark gewachsen. Daraus ist bei vielen der Schluss geworden, man könne alles hineinwerfen, was entfernt zum Thema gehört. Der Schluss stimmt nicht. Ein größeres Fenster garantiert nicht, dass das Modell auch überall darin hinschaut.

Was in der Mitte passiert

Die Untersuchung, die dem Effekt seinen Namen gab, stammt von Liu und Kollegen aus Stanford, 2023, unter dem Titel Lost in the Middle. Getestet wurde, wie zuverlässig ein Modell eine bestimmte Information aus einem langen Kontext holt, je nachdem, an welcher Stelle sie steht.

Das Ergebnis ist eine U-Kurve. Am Anfang und am Ende des Kontexts findet das Modell zuverlässig. In der Mitte bricht die Trefferquote ein. Der Effekt blieb über verschiedene Modelle und Aufgaben stabil.

Der überraschendste Einzelbefund daraus: Die Modelle fanden die gesuchte Stelle in zufällig durcheinandergewürfelten Texten zuverlässiger als in logisch aufgebauten. Ein zusammenhängender Text erzeugt offenbar mehr plausible Ablenkung als ein zusammenhangloser.

Das Aufmerksamkeitsbudget

Anthropic beschreibt denselben Sachverhalt aus der Baurichtung: Ein Modell hat ein endliches Aufmerksamkeitsbudget, vergleichbar mit menschlichem Arbeitsgedächtnis. Jedes zusätzliche Token zieht davon ab. Das Ziel ist deshalb nicht möglichst viel Kontext, sondern die kleinste Menge Text, die die Aufgabe trägt.

Woran du es im Betrieb merkst

Vier Handgriffe

1. Ein Chat pro Thema. Der Sammelchat, in dem Angebot, Debugging und Urlaubsplanung koexistieren, maximiert genau das, was hier schadet.
2. Nur laden, was zur Aufgabe gehört. Bei einer Änderung an einem Abschnitt braucht das Modell diesen Abschnitt, nicht das ganze Dokument.
3. Dauerregeln auslagern. Was in jedem Chat gilt, gehört in eine Projektanweisung. Das hält den Arbeitsbereich sauber und liegt nebenbei im Zwischenspeicher.
4. Verworfenes rauswerfen. Drei gescheiterte Ansätze im Verlauf sind kein Wissen, sie sind Ablenkung. Was daraus zählt, passt in einen Satz.

Irgendwann ist eine Session voll. Die meisten Werkzeuge lösen das automatisch: Sie fassen den bisherigen Verlauf zusammen und arbeiten mit der Zusammenfassung weiter. Das rettet die Sitzung und kostet Substanz.

Aus einer ausgearbeiteten Begründung, warum ihr euch gegen eine Variante entschieden habt, wird ein Einzeiler. Aus einem exakten Dateinamen wird "eine Konfigurationsdatei". Das Modell fragt danach Dinge erneut, die längst geklärt waren, und trifft Entscheidungen, die ihr vor zwei Stunden schon einmal verworfen habt.

Drei Wege, mit einer vollen Session umzugehen

Anthropic beschreibt genau diese drei als die Strategien für lange Aufgaben. Für Anwender ist der mittlere Weg der wichtigste, weil er ohne besondere Werkzeuge funktioniert und weil er den Zeitpunkt in deine Hand legt.

Das Übergabedokument

Der Ablauf hat drei Schritte. Du lässt das Modell den Stand aufschreiben, du schließt die Session, du startest eine neue, in der dieses Dokument das Erste und zunächst Einzige ist.

Wann du rotierst

• Ein Meilenstein ist erreicht. Der beste Zeitpunkt, weil der Stand gerade ohnehin klar ist.
• Das Thema wechselt. Auch wenn es dasselbe Projekt ist.
• Vor einer längeren Pause. Statt den Speicher künstlich warmzuhalten.
• Die Antworten werden zäher oder allgemeiner. Das ist das Symptom aus Schritt 4.
• Das Werkzeug kündigt an, den Verlauf zu verdichten. Spätestens jetzt, und lieber vorher.

Modelle mit Denkstufe erzeugen intern Text, bevor das erste sichtbare Wort erscheint. Sie zerlegen die Aufgabe, prüfen Annahmen und verwerfen Wege. Du siehst davon nichts oder nur eine Kurzfassung.

Diese Denkschritte stehen auf der Output-Seite, also auf der teuren. Damit ist die Denkstufe die einzige Einstellung in einem Chatfenster, die den Preis einer einzelnen Anfrage um ein Vielfaches verändert, ohne dass sich am Text etwas ändert, den du eingibst.

Die Frage, die entscheidet

Nicht: Wie schwer fühlt sich die Aufgabe an? Sondern: Muss das Modell intern etwas ausprobieren und wieder verwerfen, bevor es antworten kann? Wo die Antwort nein lautet, bringt Nachdenken nichts, weil es dabei um Muster und Flüssigkeit geht und nicht um Deduktion.

Das Delegationsmuster

Die meisten Aufgaben sind nicht durchgängig schwer, sie haben einen schweren Anfang. Daraus folgt ein Muster, das sich mit zwei Sessions umsetzen lässt.

1. Hohe Stufe für den Entwurf. Plan, Struktur, Abwägung der Varianten. Das Ergebnis ist ein Dokument, kein fertiges Produkt.
2. Neue Session, niedrige Stufe, für die Ausführung. Der Plan ist der Kontext, das Modell arbeitet ihn ab.
3. Prüfung gegen den Plan, nicht gegen das Gefühl. Weil der Plan schriftlich vorliegt, ist prüfbar, ob die Ausführung ihn einhält.

Der Nebeneffekt ist, dass Schritt 2 mit einem sauberen, kurzen Kontext startet. Das Delegationsmuster ist damit gleichzeitig ein Handover, nur eines, das du vorher planst statt hinterher.

Die sechs Regeln

Die Hygiene-Karte

Der Selbsttest

• Wie viele offene Sessions hast du gerade, und wie viele davon behandeln mehr als ein Thema?
• Steht in deinen langen Sessions Material, das du heute noch brauchst, oder überwiegend Vergangenheit?
• Wo stehen deine Dauerregeln: in jeder Nachricht neu, oder einmal an fester Stelle?
• Welche Denkstufe ist bei dir Standard, und wann hast du zuletzt geprüft, ob die nächstniedrigere reicht?
• Wann hast du zuletzt selbst übergeben, statt verdichten zu lassen?

Was du ab morgen anders machst

Von den sechs Regeln kostet genau eine Umgewöhnung: das Übergeben. Die anderen fünf sind Entscheidungen, die du einmal triffst und danach nicht mehr. Fang deshalb mit Regel 5 an. Sie hat den größten Effekt, und sie ist die einzige, die man üben muss.