Kontextfenster
Auch bekannt als: Context Window, Kontextlänge
Das Kontextfenster ist die maximale Menge an Text, die ein Modell bei einer Anfrage gleichzeitig verarbeiten kann. Alles was nicht reinpasst, wird ignoriert. Größer ist nicht automatisch besser.
Jedes Modell hat eine Obergrenze für Tokens pro Anfrage. System-Prompt, dein Input und die Antwort teilen sich dieses Budget. Moderne Modelle bieten hunderttausende bis Millionen Tokens.
Lost in the Middle
Forschung zeigt: Informationen am Anfang und am Ende werden besser verarbeitet als in der Mitte. Einfach alles in den Kontext zu werfen, hilft nicht. Gezielte Auswahl ist wichtiger als maximale Länge.
Die Kosten-Falle
Mehr Kontext = mehr Tokens = höhere Kosten pro Anfrage. Bei häufigen Anfragen summiert sich das. Oft ist RAG effizienter als ein riesiges Kontextfenster.