KI-Agenten – technische Vertiefung

Du kennst die Anatomie eines Agenten: drei Ringe, Kern (das LLM), Ausstattung (Tools, Wissen, Skills, Memory) und Rahmen (Identität, Guardrails, Prüfstand, Interface). Diese Lesson geht eine Ebene tiefer: Was steckt technisch dahinter?

Du solltest verstehen, warum bestimmte Designentscheidungen teurer, langsamer oder fragiler sind als andere – auch ohne selbst eine Zeile Code schreiben zu müssen.

Die Architektur im Überblick

Dieses Diagramm ist der rote Faden durch die gesamte Lesson. Jeder Step erklärt eine dieser Schichten.

Wo die sechs Konzepte in der Anatomie sitzen

Zwei Bausteine der Anatomie kommen in dieser Lesson nicht vor: Skills und Interface. Skills sind gebündeltes Prozesswissen und haben eine eigene Lesson. Das Interface ist die Bühne des Agenten und gehört ins Design, nicht in die technische Schicht.

Was du in dieser Lesson lernst

Jedes Mal wenn du mit einem KI-Agenten interagierst, liest das Modell zuerst eine Reihe von Anweisungen, die du nie siehst. Das ist der System Prompt – die Grundlage, auf der jede Antwort entsteht.

Stell dir das wie die Einarbeitung eines neuen Mitarbeiters vor, nur komprimiert auf ein Dokument: Wer bin ich, was ist meine Aufgabe, welche Regeln gelten, was darf ich nicht, wie soll ich kommunizieren.

Was in einem System Prompt steckt

Warum der System Prompt geschäftskritisch ist

Ein schlecht geschriebener System Prompt kostet in dreifacher Hinsicht:

Jedes KI-Modell hat ein Context Window – einen begrenzten "Arbeitsbereich", in den alles passt, was das Modell in einem Moment sehen kann: den System Prompt, alle bisherigen Nachrichten, geladene Dokumente, Tool-Ergebnisse.

Was außerhalb des Context Windows liegt, existiert für die KI in diesem Moment nicht. Das ist keine Metapher – es ist eine harte technische Grenze.

Die Zusammensetzung des Context Windows

Die folgende Aufteilung zeigt typische Richtwerte, die je nach Anwendungsfall stark variieren. Sie veranschaulichen, wofür der begrenzte Platz draufgeht:

Was sind Token?

Token sind die Einheit, in der Sprachmodelle Text verarbeiten – grob gesagt ein Token pro drei bis vier Zeichen. Warum relevant: Jeder Token kostet Geld. Nicht die Anfrage pauschal – sondern jeder einzelne Token, der ins Modell geht und rauskommt.

Thinking-Token: der unsichtbare Kostentreiber

Neuere Modelle wie Claude mit Extended Thinking oder OpenAIs o-Serie denken vor der Antwort intern nach. Diese Thinking-Token sind oft nicht im Chat sichtbar, werden aber trotzdem abgerechnet.

Tool- und API-Kosten: die dritte Kostenschicht

Token-Kosten sind nur ein Teil der Rechnung. Wenn ein Agent externe Tools aufruft, entstehen zusätzliche Kosten auf Drittanbieter-Ebene – unabhängig vom Sprachmodell.

Context-Window-Größe als Kaufentscheidung

Modelle unterscheiden sich stark in ihrer Context-Window-Größe – von 8.000 bis zu mehreren Millionen Token. Größer ist nicht automatisch besser: Größere Windows können mehr Kontext verarbeiten, aber die Aufmerksamkeit des Modells verteilt sich. Aktuelle Modelle (Stand 2026) haben das sogenannte "Lost in the Middle"-Problem weitgehend mitigiert, aber bei sehr langen Kontexten bleibt die Priorisierung relevanter Informationen eine Herausforderung.

Ein Sprachmodell wurde auf riesigen Mengen Text trainiert – aber dieser Stand ist eingefroren. Es weiß nichts über euer Unternehmen, eure Produkte, eure internen Prozesse. Und es kann kein Wissen aufnehmen, das nach seinem Training entstanden ist.

RAG (Retrieval-Augmented Generation) löst dieses Problem: Statt alles in das Modell einzutrainieren, sucht der Agent bei jeder Anfrage gezielt nach den relevanten Informationen – und fügt sie in den Context ein.

Der RAG-Ablauf Schritt für Schritt

Was sind Vektoren?

Ein Vektor ist eine mathematische Darstellung von Bedeutung. Texte mit ähnlicher Bedeutung bekommen ähnliche Vektoren – auch wenn sie unterschiedliche Worte verwenden. Das erlaubt semantische Suche: "Rücksendung" findet auch Dokumente, die von "Retoure" oder "Warenrückgabe" sprechen.

Was RAG kann – und was nicht

Ein Sprachmodell produziert Text. Punkt. Von sich aus kann es nichts tun – keine Websuche, kein Datenbankzugriff, kein Post auf Instagram. Tool Calls sind der Mechanismus, der das ändert.

Das Modell lernt zu erkennen, wann eine Aufgabe ein Tool braucht – und gibt dann einen strukturierten Aufruf aus, den der umgebende Code ausführt. Das Ergebnis kommt zurück in den Context, das Modell arbeitet damit weiter.

Der Tool-Call-Zyklus

Tool-Typen nach Freigabe-Bedarf

Der entscheidende Unterschied zwischen Chatbot und Agent ist nicht das Modell – es ist die Fähigkeit, in der Welt zu handeln.

MCP – der entstehende Standard

Model Context Protocol (MCP) ist ein offener Standard, der festlegt wie Tools für KI-Agenten beschrieben und aufgerufen werden. Wenn ein Tool MCP-kompatibel ist, kann es von jedem MCP-fähigen Agenten verwendet werden – ohne Custom-Integration. Der Markt bewegt sich darauf zu: Tools, die heute MCP unterstützen, sind in Zukunft breiter einsetzbar.

Ein einfacher Chatbot: Du fragst, er antwortet. Ein Mal. Fertig. Ein Agent kann das anders machen: Er plant, handelt, prüft das Ergebnis, handelt nochmal – so lange bis die Aufgabe erledigt ist. Das nennt man den Agentic Loop.

Das ist mächtig. Es ist aber auch teurer, langsamer und schwerer zu kontrollieren als ein einzelner Request.

Wie ein Agentic Loop aussieht

Die Kostenfrage

Jede Iteration eines Agentic Loop kostet Token – und zwar alle Token die bisher angefallen sind, werden bei jedem Schritt neu ins Modell gegeben (der gesamte bisherige Context). Ein langer Loop kann schnell das 10–50-fache eines einzelnen Requests kosten.

Das Kontroll-Problem: Wann stoppt der Agent?

Agenten können in Schleifen geraten – wenn ein Tool-Ergebnis nicht das liefert, was erwartet wurde, und der Agent immer wieder versucht, das Problem zu lösen. Das ist ein reales Produktions-Risiko.

Das am häufigsten übersprungene Thema in KI-Projekten: Wie wissen wir eigentlich, ob der Agent seinen Job gut macht? "Er antwortet" ist keine Antwort. "Die Nutzer beschweren sich selten" auch nicht.

KI-Agenten brauchen systematische Evaluation – und die ist methodisch anders als klassisches Software-Testing, weil die Ausgaben nicht deterministisch sind. Zwei identische Anfragen können unterschiedliche Antworten erzeugen.

Die drei Ebenen der Agent-Evaluation

Was ist ein Eval-Set?

Ein Eval-Set ist eine Sammlung von Test-Anfragen mit bekannten erwarteten Antworten. Wenn der System Prompt geändert wird, läuft das Eval-Set automatisch durch – und zeigt ob die Änderung etwas verschlechtert hat.

Das Halluzinations-Problem

Sprachmodelle können Fakten erfinden – mit voller Zuversicht, korrekt klingend. Das nennt sich Halluzination. Bei einem allgemeinen Chatbot ärgerlich. Bei einem Agenten, der Kundenfragen beantwortet oder Dokumente erstellt: ein echtes Risiko.

Alle Konzepte auf einen Blick

Deine Checkliste

Für jedes KI-Agenten-Projekt – ob intern gebaut oder extern beauftragt:

• System Prompt ist dokumentiert, versioniert und hat einen verantwortlichen Owner
• Token-Kosten werden per Anfrage überwacht und sind gedeckelt
• RAG-Wissensbasis hat klare Ownership für Aktualität und Qualität
• Tool-Liste ist explizit definiert – Schreib-Tools haben Approval-Flow
• Alle Tool-Calls werden geloggt (Audit Trail)
• Agentic Loops haben Iterations-Limit, Budget-Cap und Timeout
• Eval-Set existiert und wird bei jeder Änderung automatisch ausgeführt
• Verantwortlichkeit für falsche Agenten-Antworten ist geklärt
• DSGVO-Anforderungen für verarbeitete Kundendaten sind erfüllt

Weiterlernen

Diese Lesson ist Teil einer Serie auf lernen.diy:

• KI-Agenten verstehen – Die 6 Dimensionen des Agent-Design-Space (Einsteiger)
• KI im Business einsetzen – die System-Landkarte: welche Einsatzform passt wann?
• KI-Compliance-Basics – Was du darfst, was du musst, was du lässt

Begriffe aus dieser Lesson

• Agent — Ein Agent ist ein Sprachmodell, das selbstständig Werkzeuge aufruft, mehrere Schritte plant und Entscheidungen in einer Schleife trifft, bis eine Aufgabe erledigt ist oder das Modell aufgibt.
• Agentic Loop — Die Agentic Loop ist der Kernmechanismus eines KI-Agenten: Planen, Handeln, Beobachten, Anpassen. Der Agent iteriert in dieser Schleife, bis die Aufgabe erledigt ist oder ein Limit erreicht wird.
• Chunking — Chunking ist das Zerlegen großer Dokumente in kleinere Stücke für die Verarbeitung in RAG-Systemen. Die Chunk-Größe und -Strategie bestimmen maßgeblich die Qualität der Suche und der Antworten.
• Embedding — Ein Embedding ist die mathematische Darstellung eines Textstücks als Zahlenvektor. Semantisch ähnliche Texte haben ähnliche Vektoren. Das ist die Grundlage für semantische Suche und RAG.
• Evaluation — Evaluation im KI-Kontext ist die systematische Prüfung, ob ein Modell oder Agent für eine bestimmte Aufgabe zuverlässig funktioniert. Geht über Benchmarks hinaus, weil sie die echte Anwendung testet.
• Fine-Tuning — Fine-Tuning passt ein vortrainiertes Modell mit eigenen Daten an eine spezifische Aufgabe an. Das Modell lernt deinen Stil, deine Fachsprache oder dein Domänenwissen, ohne komplett neu trainiert zu werden.
• Kontextfenster — Das Kontextfenster ist die maximale Menge an Text, die ein Modell bei einer Anfrage gleichzeitig verarbeiten kann. Alles was nicht reinpasst, wird ignoriert. Größer ist nicht automatisch besser.
• MCP (Model Context Protocol) — MCP ist ein offenes Protokoll, das KI-Modellen standardisierten Zugriff auf externe Werkzeuge und Datenquellen gibt. Ein MCP-Server funktioniert mit verschiedenen KI-Hosts, ohne Umschreiben.
• Reranking — Reranking sortiert die Suchergebnisse einer Vektor-Datenbank nach einer zweiten, genaueren Bewertung um. Die erste Suche ist schnell aber grob, der Reranker ist langsam aber präzise.
• Vektor-Datenbank — Eine Vektor-Datenbank speichert Embeddings und findet effizient die ähnlichsten Vektoren zu einer Suchanfrage. Sie ist das Herzstück jeder RAG-Implementierung.

Passende Fragen

• Ist MCP (Model Context Protocol) nur ein Hype?
  Nein. MCP entwickelt sich zum Standard für Tool-Integration mit KI-Agenten. Wer heute MCP-kompatible Tools wählt, hat morgen mehr Flexibilität: Tools werden austauschbar zwischen Anthropic, OpenAI und anderen Anbietern.
• Ist mehr Kontext im Prompt immer besser?
  Nein. „Lost in the Middle" zeigt: Informationen in der Mitte langer Kontexte werden schlechter verarbeitet. Größere Context-Windows kosten mehr und die Aufmerksamkeitsverteilung leidet. Gezieltes RAG ist oft effektiver als das Hineinwerfen ganzer Dokumente.
• Löst RAG alle Wissensprobleme von KI?
  Nein. RAG ist nur so gut wie die eingespeisten Dokumente. „Garbage in, garbage out" gilt genauso. Schlechte Dokumentenqualität, falsche Chunking-Strategie oder unpassende Embeddings machen RAG-Systeme ungenauer, nicht präziser.
• Sind KI-Agenten günstiger als Mitarbeiter?
  Nicht automatisch. Token-Kosten, Thinking-Kosten, Tool-API-Kosten, Wartung und Monitoring summieren sich. Die Rechnung lohnt sich bei skalierender, repetitiver Arbeit, nicht bei Einzelaufgaben oder komplexer Einmal-Arbeit.
• Wenn der KI-Agent antwortet, funktioniert er dann?
  Nein. Ohne systematische Evaluation weißt du nicht, ob er korrekt, hilfreich oder im richtigen Ton antwortet. Halluzinationen sehen aus wie richtige Antworten. Eine plausible Antwort ist keine gute Antwort.