Agenten im Griff.
Wie KI-Agenten arbeiten und wie du sie sicher für dich arbeiten lässt.
Agenten im Griff
Wie KI-Agenten arbeiten und wie du sie sicher für dich arbeiten lässt.
Inhalt
- 01Vom Prompt zum Loop3
- 02Die Anatomie eines Agenten5
- 03Der Design-Space7
- 04Der Mensch bleibt im Loop9
- 05Eindämmen statt abwehren11
- 06Dein erster sicherer Agent13
Dieser Snack ist für dich, wenn du KI-Agenten einsetzen willst, ohne die Kontrolle abzugeben. In gut 15 Minuten weißt du, wie ein Agent arbeitet, welche Entscheidungen du beim Bau triffst und wie du Rechte vergibst, ohne dir ein Risiko ins Haus zu holen. Danach kannst du deinen ersten eigenen Agenten planen.
Vom Prompt zum Loop
Das nimmst du mit
- Du kennst den Unterschied zwischen Einzel-Prompt und Agenten-Loop.
- Du weißt, warum der Hebel vom Wortlaut zum Ablauf gewandert ist.
- Du kannst sagen, woran ein Agent erkennt, dass er fertig ist.
Ein Prompt ist ein Tauschgeschäft: Anweisung rein, Antwort raus. Du liest das Ergebnis, übernimmst es oder besserst nach. Jede Runde läuft über dich.
Ein Agent arbeitet anders. Er bekommt ein Ziel und läuft in einem Kreislauf: denken, handeln, beobachten, wiederholen. Er ruft Werkzeuge auf, korrigiert sich und macht weiter. Dabei trifft er viele Entscheidungen, ohne dass du jede einzelne siehst.
Agenten-Loop: Der Zyklus, in dem ein KI-System selbstständig denkt, handelt und sein Ergebnis prüft, bis ein Ziel erreicht oder ein Stopp ausgelöst ist.
Mit diesem Schritt wandert der Hebel. In der Chat-Ära lag er im Wortlaut deiner Anweisung. Dann in der Information, die das Modell sieht. Dann in der Umgebung, die den Agenten führt. Heute liegt er im Ablauf über Zeit: Ziel, Prüfung, Stopp. Es ist immer dieselbe Aufgabe, nur eine Ebene höher: die Fähigkeit eines Modells in verlässliches Verhalten übersetzen.
Am Anfang beschreibst du eine Antwort. Am Ende beschreibst du einen Zustand von Fertig.
Wie fühlt sich das im Alltag an? Arbeiten mit einem Agenten ist wie die Zusammenarbeit mit einem übermotivierten, aber unkritischen Junior. Schnell und fleißig. Ohne klare Kante baut er entweder endlos weiter oder meldet stolz „fertig“, während nichts stimmt.
Die Antwort darauf ist keine bessere Formulierung, sondern eine andere Art von Anweisung. Ein Prompt beschreibt eine Antwort. Eine Loop-Anweisung beschreibt, woran das System selbst erkennt, dass es fertig ist. Vier Bestandteile gehören hinein:
- Ziel: eine prüfbare Bedingung, kein Wunsch. „Mach die Doku besser“ reicht nicht.
- Verifikation: Wer oder was prüft das Ergebnis, und woran genau.
- Stopp: Erfolgsfall und Abbruchfall, beide ausdrücklich benannt.
- Regeln: Was der Agent nicht darf, um die Checks zu bestehen.
Der vierte Bestandteil ist kein Nebensatz. Ohne die Regel „keine Beispiele erfinden“ erfüllt ein Agent den Check „mindestens ein konkretes Beispiel“ notfalls mit einer erfundenen Geschichte. Check bestanden, Ergebnis unbrauchbar. Definiere vorher, was Schummeln wäre.
Auf den Punkt
- Ein Prompt beschreibt eine Antwort, ein Agent braucht einen prüfbaren Zustand von Fertig.
- Der Agenten-Loop heißt: denken, handeln, beobachten, wiederholen.
- Jede Loop-Anweisung braucht Ziel, Verifikation, Stopp und Regeln.
Die Anatomie eines Agenten
Das nimmst du mit
- Du kennst die drei Ringe: Kern, Ausstattung, Rahmen.
- Du weißt, was das Modell kann und was erst die Ausstattung daraus macht.
- Du kannst Tools, Wissen, Skills und Memory sauber auseinanderhalten.
Ein Agent ist kein Monolith, sondern drei Ringe. Im Kern sitzt das LLM: Es kann Reasoning (mehrschrittig planen, sich selbst korrigieren, der Sprung von „antwortet" zu „arbeitet einen Plan ab"), Tool-Calling (strukturierte Werkzeug-Aufrufe, fehlende Fähigkeiten wie Sehen oder Hören werden zum Tool) und Instruction-Following (sich zuverlässig an Vorgaben halten). Die Loop-Fähigkeit liefern die meisten Modelle über ihre Schnittstelle gleich mit.
Der zweite Ring ist die Ausstattung. Sie macht aus dem Modell deinen Agenten:
| Baustein | Was es ist | Merksatz |
|---|---|---|
| Tools | APIs, MCP, Browser, Datenbanken | Lesen ist harmlos, Schreiben ist das Risiko |
| Wissen | Abrufbares Fachwissen: Dokumente, Live-Quellen | Was er nachschlägt, nicht wer er ist |
| Skills | Gebündeltes Prozesswissen als Rezept | Kein Tool, sondern die Anleitung, die welche benutzt |
| Memory | Kurzzeit (Aufgabe) und Langzeit (persistiert) | Das Gedächtnis selbst, nicht seine Überwachung |
Der dritte Ring ist der Rahmen. Er formt den Agenten und sichert ihn ab:
- Identität: Persona, Werte, Rolle im Systemprompt. Nicht das Fachwissen, sondern die Haltung, die in jeden Schritt einfließt.
- Guardrails: Verbotene Handlungen, harte Constraints, Datenschutz. Entstehen weich im Modell, verbindlich werden sie erst durch technische Durchsetzung.
- Prüfstand: Von außen draufschauen: Tracing, Evals, Monitoring. Beantwortet, ob der Agent zuverlässig und gut arbeitet.
- Interface: Was beim Nutzer ankommt: UI, Format, Tonalität. Die Bühne des Agenten, getrennt von der Logik dahinter.
Erst Instruction-Following im Kern macht den Rahmen wirksam: Ein Modell, das Vorgaben ignoriert, hat weder Identität noch Guardrails.
Mit dieser Karte liest du jeden Agenten, ob gekauft oder selbst gebaut: Welcher Ring ist stark besetzt, welcher fehlt? Zwei Teile des Rahmens sind so wichtig, dass sie eigene Kapitel bekommen: die Prüfung durch den Menschen (Kapitel 4) und die Guardrails, zu Ende gedacht als Eindämmung (Kapitel 5).
Auf den Punkt
- Drei Ringe: das LLM im Kern, die Ausstattung, der Rahmen.
- Das Modell allein ist noch kein Agent. Erst Tools, Wissen, Skills und Memory machen ihn zu deinem.
- Guardrails werden erst verbindlich, wenn sie technisch durchgesetzt sind.
Der Design-Space
Das nimmst du mit
- Du kennst die sechs Dimensionen, die einen Agenten vom Chatbot unterscheiden.
- Du kannst dein Vorhaben auf dem Autonomie-Spektrum einordnen.
- Du weißt, welche drei Governance-Fragen vor dem Start geklärt gehören.
Ein Chatbot antwortet auf Fragen und vergisst danach alles. Ein Agent verfolgt Ziele über mehrere Schritte, erinnert sich an relevantes Wissen und handelt mit Werkzeugen in deiner Arbeitswelt. Dazwischen liegt kein besserer Prompt, sondern eine Reihe bewusster Design-Entscheidungen. Sechs Dimensionen spannen den Raum auf:
| Dimension | Die Kernfrage |
|---|---|
| Wissen & Gedächtnis | Was weiß der Agent, und was behält er? |
| Rollen & Spezialisierung | Wer ist er: Identität, Kontext, Grenzen? |
| Tools & Integration | Mit welchen Systemen ist er verbunden? |
| Autonomie & Kontrolle | Wie eigenständig handelt er? |
| Multi-Agent | Arbeitet er allein oder im Team? |
| Security & Governance | Wer kontrolliert ihn? |
Die meisten gescheiterten KI-Projekte scheitern nicht am Modell. Sie scheitern daran, dass nur die Tool-Dimension betrachtet wurde. Ein Agent ohne Gedächtnis vergisst alles, ohne Rolle liefert er Durchschnitt, ohne Governance ist er ein Risiko.
Die wichtigste Entscheidung ist die Autonomie. Sie ist kein Schalter, sondern ein Spektrum mit vier Stufen: Der Agent schlägt vor, er entwirft, er führt nach Freigabe aus, er handelt selbstständig im definierten Rahmen. Du bestimmst, wo er sitzt.
Lesen darf die KI immer. Schreiben, Senden und Löschen brauchen einen Menschen dazwischen. Zumindest zu Beginn.
Für den Einstieg heißt das: Starte mit Lese-Zugriffen. Sie sind risikoarm, sofort nützlich und brauchen keine Freigabe-Mechanik. Schreib-Aktionen kommen dazu, wenn das Vertrauen gewachsen ist, und dann zuerst mit Freigabe.
Ein Agent reicht meistens. Multi-Agent-Systeme klingen beeindruckend und werden deshalb zu früh gebaut. Hol dir das Team erst, wenn ein einzelner Agent nachweislich an Grenzen stößt.
Bleibt die Kontrolle. Kläre vor dem Start drei Fragen: Wer hat Zugriff, und auf welche Daten? Was wird protokolliert? Wer kann den Agenten stoppen, und wie schnell? Und ein Detail, das oft übersehen wird: Passwörter und API-Schlüssel gehören nie in den Prompt, sondern in ein Rechtesystem, das der Agent nicht einsehen kann.
Auf den Punkt
- Ein Agent ist das Ergebnis von sechs Design-Entscheidungen, nicht eines guten Prompts.
- Autonomie ist ein Spektrum: konservativ starten, schrittweise erhöhen.
- Vor dem Start klären: Zugriff, Protokoll, Notaus.
Der Mensch bleibt im Loop
Das nimmst du mit
- Du kennst die drei Positionen des Menschen zur Schleife.
- Du weißt, an welche Stelle im Ablauf die Freigabe gehört.
- Du kannst mit vier Fragen prüfen, ob eine Freigabe echt ist oder Deko.
„Ein Mensch prüft das“ steht in fast jedem KI-Konzept. Entscheidend ist aber nicht, ob ein Mensch beteiligt ist, sondern wo er relativ zur Schleife steht.
| Modus | Wo du stehst | Was du beiträgst |
|---|---|---|
| Chat | In der Schleife | Du prüfst jedes Ergebnis selbst, in jedem Zug |
| Agent | Auf der Schleife | Du setzt Freigabestellen und nimmst Ergebnisse ab |
| Automatisierung | Um die Schleife herum | Vorher Regeln und Schwellen, nachher Stichproben |
Wo dein Eingriff hingehört, entscheidet keine Grundsatzfrage, sondern eine Kostenfrage: An welcher Stelle im Prozess ist ein menschlicher Eingriff billiger als der Fehler, den er verhindert? Diese Frage hat eine Antwort, und sie lässt sich an konkreten Zahlen prüfen.
Der häufigste Fehler beim Agenten ist nicht die fehlende Freigabe. Es ist die Freigabe am Ende, wo sie organisatorisch bequem ist. Wenn der Agent schon Daten geändert und die Mail verschickt hat, kann die Unterschrift nichts mehr verhindern. Sie quittiert nur noch.
Das Gate gehört vor den letzten umkehrbaren Punkt, nicht vor den letzten Schritt. Such die Stelle, ab der Zurückdrehen teurer ist als Nochmalmachen. Unmittelbar davor gehört die Freigabe.
Ob eine Freigabe etwas wert ist, zeigt ein Test mit vier Bedingungen. Kompetenz: Kann die Person das Ergebnis fachlich beurteilen? Information: Sieht sie, woraus es entstanden ist, oder nur das Ergebnis? Zeit: Reicht sie für ein Urteil statt für einen Blick? Autorität: Darf sie Nein sagen, ohne dass der Prozess gegen sie läuft?
Die vier Bedingungen multiplizieren sich. Drei Mal Ja und ein Nein ergeben nicht 75 Prozent Kontrolle, sondern keine. Und wenn an einem Gate nie etwas abgelehnt wird, ist das kein Qualitätsnachweis, sondern ein Befund.
Bei Automatisierung wandert deine Arbeit vor und hinter den Lauf: Regeln vorher, Stichprobe nachher. Eine Stichprobe braucht einen Namen, eine Frequenz und Fälle aus den Grenzbereichen, sonst findet sie nicht statt.
Auf den Punkt
- Nicht ob ein Mensch prüft zählt, sondern an welcher Stelle.
- Die Freigabe gehört vor den letzten umkehrbaren Punkt.
- Kompetenz, Information, Zeit, Autorität: vier Mal Ja, sonst ist das Gate Deko.
Eindämmen statt abwehren
Das nimmst du mit
- Du verstehst, warum Prompt Injection Bauform ist und kein Bug.
- Du kannst jeden Agenten gegen die drei Trifecta-Bedingungen prüfen.
- Du kennst die Rule of Two und weißt, welches Bein du wegnimmst.
Dein Agent liest Kalender und Postfach. In einer Einladung von außen steht ein Absatz, den du nie siehst: weiße Schrift, weit unten. Er weist den Agenten an, Mails an eine fremde Adresse weiterzugeben. Woran soll der Agent erkennen, dass dieser Absatz nicht von dir ist? Er kann es nicht. Deine Anweisung und die fremde landen im selben Kontextfenster, in derselben Form: als Text.
Das ist kein Bug, den ein Anbieter noch patcht. Ein Sprachmodell kann Anweisung und Daten nicht zuverlässig trennen. Und der gefährliche Angreifer spricht nie mit dir: Er schreibt in eine Mail, ein PDF oder ein Ticket, das dein Agent später liest.
Riskant wird es, wenn drei Dinge zusammenkommen. Diese Kombination heißt Lethal Trifecta:
- Private Daten: Der Agent liest, was nicht öffentlich ist.
- Fremder Inhalt: Er verarbeitet, was von außen kommt.
- Kanal nach außen: Er kann etwas nach draußen bewegen.
Der unangenehme Teil: Genau diese Kombination macht Agenten überhaupt nützlich. Sie ist der Normalfall, nicht die Ausnahme.
Was tun? Die Antwort ist eine Entscheidungsregel, die Rule of Two: Ein Agent soll in einer Sitzung höchstens zwei der drei Eigenschaften haben. Braucht er wirklich alle drei, darf er nicht autonom handeln. Dann gehört ein Mensch an die Freigabe.
Der lehrreichste Umbau: Ein Mail-Agent, der Antworten als Entwurf anlegt, statt sie zu verschicken. Ein Bein weg, fast der ganze Nutzen bleibt. Du sparst weiterhin die Schreibarbeit und drückst nur noch auf Senden.
„Das haben wir im Systemprompt verboten“ schützt nicht. Die Systemanweisung steht im selben Kontextfenster wie der eingeschleuste Text und hat keinen Sonderstatus. Was der Agent nicht darf, gehört ins Rechtesystem, nicht in den Prompt.
Auch Filter, die Injections erkennen sollen, fallen unter echten Angriffen regelmäßig durch. Bau deshalb nicht an der Abwehr, sondern am Schadensumfang: minimale Rechte je Aufgabe, Freigabe vor allem, was nach außen wirkt, und ein Protokoll, das festhält, welche Eingabe einen Werkzeugaufruf ausgelöst hat.
Die Frage ist nicht, wie du deinen Agenten sicher machst. Die Frage ist, was er im schlimmsten Fall erreichen kann, und ob du damit leben willst.
Auf den Punkt
- Alles, was in den Kontext gerät, ist eine potenzielle Anweisung.
- Höchstens zwei der drei Trifecta-Beine pro Sitzung, sonst Mensch an die Freigabe.
- Rechte klein halten und Schaden begrenzen, statt auf Filter zu vertrauen.
Dein erster sicherer Agent
Das nimmst du mit
- Du hast einen Fahrplan in sieben Schritten vom Testlauf bis zum Betrieb.
- Du weißt, welche Checks vor dem ersten Start stehen.
- Du kannst den Preis jeder Sicherheitsentscheidung benennen.
Jetzt setzen wir alles zusammen. Du brauchst kein großes Projekt, um zu starten: ein Agent, eine Aufgabe, eine Woche. Die ersten vier Schritte bauen den Agenten.
- Aufgabe wählen: Wiederkehrend, klar umrissen, und ein Fehler muss umkehrbar sein.
- Rolle definieren: Identität, Kontext, Grenzen. Ein Spezialist schlägt den Generalisten.
- Mit Leserechten starten: Der Agent liest zuerst nur. Schreiben kommt später, und dann mit Freigabe.
- Fertig definieren: Schreib eine Loop-Anweisung mit Ziel, Verifikation, Stopp und Regeln. Halte fest, was Schummeln wäre.
Starte dort, wo ein Fehler dich zehn Minuten kostet, nicht einen Kunden. Vertrauen baust du mit kleinen Aufgaben auf, nicht mit großen Versprechen.
Die nächsten drei Schritte sichern den Betrieb ab:
- Gate setzen: Die Freigabe gehört vor den letzten umkehrbaren Punkt. Prüf die vier Bedingungen: Kompetenz, Information, Zeit, Autorität.
- Trifecta prüfen: Private Daten, fremder Inhalt, Kanal nach außen. Bei drei Kreuzen nimmst du ein Bein weg, meistens den Kanal: Entwurf statt Versand.
- Betrieb beobachten: Protokolliere jeden Werkzeugaufruf samt Auslöser, zieh eine Stichprobe mit Name und Frequenz, und schreib jeden Fehler als Dauerregel in die Regeldatei.
Und dann? Autonomie erhöhst du schrittweise, und nur dort, wo Fehler umkehrbar bleiben. Jede neue Berechtigung hat einen Preis und einen Nutzen. Beides gehört benannt, bevor du sie vergibst.
Was nicht in deinem Berechtigungsinventar steht, existiert für die Aufsicht nicht, läuft aber trotzdem. Eine Zeile pro Agent reicht: Zweck, liest, schreibt, Kanal nach außen, Freigabe, Protokoll. Mehr braucht es nicht, um auskunftsfähig zu sein.
Auf den Punkt
- Klein starten: eine Aufgabe, Leserechte, ein prüfbares Fertig.
- Vor dem Start: Gate an der richtigen Stelle und Trifecta-Check.
- Im Betrieb: Protokoll, Stichprobe, Dauerregeln. Autonomie wächst mit Vertrauen.
Zusammenfassung
Vom Prompt zum Loop
Ein Prompt beschreibt eine Antwort, ein Agent braucht einen prüfbaren Zustand von Fertig samt Stopp und Regeln.
Die Anatomie eines Agenten
Drei Ringe: das LLM im Kern, die Ausstattung (Tools, Wissen, Skills, Memory), der Rahmen (Identität, Guardrails, Prüfstand, Interface).
Der Design-Space
Sechs bewusste Design-Entscheidungen machen den Agenten, und Autonomie ist ein Spektrum, auf dem du konservativ startest.
Der Mensch bleibt im Loop
Die Freigabe gehört vor den letzten umkehrbaren Punkt und zählt nur mit Kompetenz, Information, Zeit und Autorität.
Eindämmen statt abwehren
Höchstens zwei der drei Trifecta-Beine pro Sitzung, sonst gehört ein Mensch an die Freigabe.
Dein erster sicherer Agent
Klein starten, lesen vor schreiben, jede Berechtigung mit Preis, Gate und Protokoll.
Weiterlernen auf lernen.diy
Dieser Snack ist der Einstieg. Die vier Lessons dahinter gehen in die Tiefe, mit Übungen und Beispielen.
Am meisten lernst du an deinem eigenen Fall: Nimm eine Aufgabe von deinem Tisch und bau den ersten Agenten dafür. Der Lernpfad „Agenten sicher einsetzen“ führt dich Schritt für Schritt durch das ganze Thema.
Blättern mit den Pfeiltasten, per Klick oder Wisch
Aus diesen Lessons gebaut
Das Flipbook ist die Kurzfassung. Jede der Lessons dahinter geht mit Übungen und Beispielen in die Tiefe.