Prüfen oder vertrauen?.

Finn: Werkstattfunk, der Audio-Lernsnack von lernen.diy. Ich bin Finn.

Mara: Und ich bin Mara. Wie immer kurz vorweg: Wir beide sind KI-Stimmen. Der Inhalt kommt aus der Werkstatt von lernen.diy, produziert wird mit KI.

Finn: Heute habe ich ein Problem, Mara. Mir wurde beigebracht: Prüfe jede KI-Antwort, bevor du sie benutzt. Klingt vernünftig. Aber bei zwanzig Antworten am Tag schaffe ich das nicht. Und ehrlich gesagt prüfe ich am Ende gar nichts mehr richtig.

Mara: Dann bist du hier genau richtig. Prüfen ja. Aber die spannende Frage ist nicht, ob du prüfst. Sondern wo. Kontrolle ist eine Ortsfrage, und am Ende der Folge weißt du, wo deine hingehört.

Finn: Dann mal los.

Mara: Erst einmal hast du mit deinem Prüf-Reflex recht. Eine KI ist wie ein Kollege, der auf jede Frage eine Antwort hat. Immer souverän, immer flüssig. Das Problem: Ob er recht hat oder völlig danebenliegt, klingt exakt gleich. KI produziert Text, der plausibel klingt. Nicht Text, der wahr ist.

Finn: Eben. Deshalb prüfen. Sag ich doch.

Mara: Nur schau hin, was passiert, wenn Menschen alles prüfen sollen. Der übliche Ablauf ist: lesen, plausibel finden, übernehmen. Formal hat ein Mensch jedes Ergebnis gesehen. Nachvollzogen hat er es nicht. Ein Text kann sich besser lesen als alles, was du selbst geschrieben hättest, und trotzdem stehen drei Zusagen drin, die es bei euch nie gab. Das Modell hat sie ergänzt, weil sie branchenüblich sind.

Finn: Also gründlicher prüfen. Dann brauche ich für jede Antwort zehn Minuten.

Mara: Und genau da kippt es. Gründlicher geht nicht, und öfter geht auch nicht. Einzelprüfung skaliert nicht. Deshalb hilft zuerst eine andere Frage: Was passiert, wenn das falsch ist? Bei der internen Ideensammlung: nichts. Beim Angebot an den Kunden: eine Menge. Das Risiko bestimmt die Prüftiefe, nicht dein schlechtes Gewissen.

Finn: Damit habe ich schon mal weniger zu prüfen. Aber mein Problem ist erst halb gelöst.

Mara: Stimmt. Denn sobald KI nicht mehr nur antwortet, sondern selbstständig arbeitet, wechselt die Frage komplett. Von wie gründlich zu: an welcher Stelle.

Finn: Was ändert die Stelle?

Mara: Es gibt drei Positionen. Im Chat läuft jede Antwort über dich, da bist du selbst das Gate, bei jedem Zug. Beim Agenten arbeitet die Maschine viele Schritte allein, und du legst fest, an welcher Stelle ein Mensch beurteilt. Und in der Automatisierung kommst du zur Laufzeit gar nicht mehr vor. Da ersetzt die Stichprobe den Blick.

Finn: Und wo geht das typischerweise schief?

Mara: Beim Agenten steht die Freigabe meistens dort, wo es bequem ist: am Ende. So kennt man das aus Papierprozessen. Nur wenn der Agent vorher schon Daten verändert und eine Mail verschickt hat, verhindert die Freigabe am Ende nichts mehr. Sie quittiert einen abgeschlossenen Vorgang.

Finn: Eine Unterschrift unter etwas, das längst passiert ist.

Mara: Genau. Und das Extrembild hat einen eigenen Namen: HITL-Theater. Eine Freigabestelle, zweihundert Vorgänge am Tag, neunzig Sekunden pro Fall. Die Ablehnungsquote liegt seit Monaten bei null. In der Prozessdokumentation heißt das menschliche Kontrolle. Tatsächlich findet dort keine Entscheidung statt. Die Kontrolle existiert nur im Organigramm.

Finn: Und die Stichprobe bei der Automatisierung?

Mara: Steht in vielen Konzepten und findet selten statt. Meistens, weil sie weder einen Termin noch eine zuständige Person hat. Eine Stichprobe ohne Termin ist kein Kontrollinstrument. Sie ist ein Vorsatz.

Finn: Gut. Dann lös es auf: prüfen oder vertrauen?

Mara: Beides, je nach Ort. Im Chat: erst das Risiko fragen, dann die Prüftiefe wählen. Wo ein Fehler wehtut, verlangst du die Quelle und prüfst die Quelle, nicht die Behauptung. Wo er billig ist, darf Vertrauen wachsen. Beim Agenten: Leg die Freigabe vor die Wirkung, nicht ans Ende. Der Prüfer soll Vorschläge sehen und entscheiden, nicht ein Protokoll abnicken. Und in der Automatisierung: eine Stichprobe mit festem Termin und einem Namen dran.

Finn: Und die Pointe der Folge?

Mara: Die steht wörtlich in der Lesson: Es zählt nicht, ob ein Mensch beteiligt ist. Sondern ob er an seiner Stelle urteilen kann.

Finn: Tiefer geht es in den beiden Lessons auf lernen.diy, die Links stehen in den Shownotes. Das war der Werkstattfunk.

Mara: Bis zum nächsten Mal in der Werkstatt.