Human in the Loop – an welcher Stelle der Mensch wirklich etwas beiträgt

Human in the Loop gehört zu den meistgenutzten Begriffen in KI-Projekten. Er steht in Konzepten, in Betriebsvereinbarungen und in Antworten auf Rückfragen aus Datenschutz und Revision. Gemeint ist damit: Irgendwo im Ablauf sitzt ein Mensch, der prüft.

Offen bleibt dabei vier Mal dasselbe: an welcher Stelle dieser Mensch sitzt, was er zu sehen bekommt, wie viel Zeit er pro Fall hat und ob er ablehnen darf. Solange diese vier Angaben fehlen, lässt sich nicht prüfen, ob die Kontrolle tatsächlich stattfindet.

Die Frage, die weiterhilft

Häufig wird daraus die Frage: Wo ist der Mensch unersetzbar? Für Prozessentscheidungen ist sie wenig brauchbar, weil sie nach einer Eigenschaft sucht und nicht nach einer Stelle im Ablauf. Ihre Antwort verschiebt sich außerdem mit jeder Modellgeneration, während der Prozess stehen bleibt.

Brauchbarer ist eine Kostenfrage: An welcher Stelle im Prozess ist ein menschlicher Eingriff billiger als der Fehler, den er verhindert? Sie hat eine Antwort, sie fällt je nach Ablauf anders aus, und sie lässt sich an konkreten Zahlen prüfen.

Die Arbeit verschwindet nicht, sie wandert

Bei Automatisierungsprojekten heißt es oft, der Mensch werde frei für Wichtigeres. Genauer beschrieben wechselt die Arbeit die Form. Sie wandert vom Einzelfall zur Spezifikation davor und zur Stichprobe danach.

Wer vorher hundert Vorgänge einzeln geprüft hat, prüft danach keine hundert Vorgänge mehr. Stattdessen schreibt er Regeln auf, legt Schwellen fest und zieht zehn Stichproben. Das ist nicht zwingend weniger Arbeit, aber eine andere: Sie verlangt, Fälle zu verallgemeinern, statt sie einzeln zu beurteilen.

Drei Positionen zur Schleife

Der praktisch entscheidende Unterschied liegt nicht in der Menge an menschlicher Beteiligung, sondern in der Position des Menschen relativ zur Schleife. Aus ihr folgt, was du beitragen kannst, was du überhaupt zu sehen bekommst und wie es in diesem Modus typischerweise schiefgeht.

Für wen diese Lesson geschrieben ist

Diese Lesson richtet sich an zwei Rollen gleichzeitig. Das hat einen Grund: Ein großer Teil der Fehler entsteht bei der Übergabe zwischen ihnen, und diese Übergabe sieht keine der beiden Seiten allein.

• Prozess-Designer: Du entwirfst Abläufe und entscheidest, an welcher Stelle jemand hinsieht. Du setzt das Gate.
• Prüfer: Du arbeitest im Ablauf und bist selbst die Stelle, an der hingesehen wird. Du besetzt das Gate.

Im Chat läuft jede Antwort über dich, bevor irgendetwas mit ihr passiert. Du entscheidest in jedem Zug neu, ob du das Ergebnis übernimmst, nachfragst oder verwirfst. Ein eigener Freigabeschritt ist nicht vorgesehen, weil die gesamte Nutzung aus Freigaben besteht.

Die Kontrolldichte ist damit höher als in jedem anderen Modus. Über die tatsächliche Prüftiefe sagt das nichts.

Warum gerade hier am wenigsten geprüft wird

Das Problem im Chat ist nicht die fehlende Kontrollmöglichkeit, sondern wie die vorhandene genutzt wird. Der übliche Ablauf lautet: lesen, plausibel finden, übernehmen. Formal hat ein Mensch jedes Ergebnis gesehen. Nachvollzogen hat er es nicht.

Der Fall: das Angebot, das gut klingt

Du lässt dir eine Leistungsbeschreibung für ein Angebot formulieren. Vorlage ist ein altes Angebot, dazu ein paar Stichpunkte zum neuen Auftrag. Was zurückkommt, ist sauber gegliedert und liest sich besser als das, was du selbst geschrieben hättest.

Drei Sätze, sauber formuliert, keiner davon aus deiner Vorlage. Zwei stehen so in keinem eurer Verträge. Das Modell hat nichts erfunden im Sinne eines Defekts, es hat ergänzt, was in Angeboten dieser Art üblich ist. Der Unterschied zwischen branchenüblich und von euch zugesagt steht nicht im Text und ist ihm auch nicht anzusehen.

Was in diesem Modus hilft

Ein Freigabe-Gate lässt sich hier nicht einbauen, du stündest auf beiden Seiten davon. Was bleibt, sind feste Handgriffe, die unabhängig vom Eindruck greifen. Drei davon haben sich bewährt:

1. Herkunft trennen. Lass das Modell selbst markieren, was aus deiner Vorlage stammt und was ergänzt wurde. Das ist keine Garantie, aber es macht die Kandidaten sichtbar.
2. Eine Angabe hart nachrechnen. Nimm eine einzige Zahl und prüf sie an der Quelle. Wenn sie falsch ist, war nicht die Zahl das Problem, sondern deine Prüfhaltung.
3. Nach dem Verworfenen fragen. Welche Formulierung wurde erwogen und nicht genommen? Die Antwort zeigt dir, wo das Modell unsicher war.

Wo du hier ansetzt

Ein Agent arbeitet die Schleife selbstständig ab. Er liest, entscheidet, ruft Werkzeuge auf, korrigiert sich und macht weiter. Du stehst darüber und siehst nicht jeden einzelnen Schritt, sondern den Verlauf und das Ergebnis.

Damit verschiebt sich deine Aufgabe. Du beurteilst keine einzelnen Ergebnisse mehr, sondern legst fest, an welcher Stelle beurteilt wird. Das ist die erste Etappe der wandernden Arbeit: vom Urteil im Einzelfall zur Entscheidung über die Stelle.

Das Gate an der falschen Stelle

Der häufigste Fehler in diesem Modus ist nicht ein fehlendes Gate. Es ist ein Gate, das dort steht, wo es organisatorisch bequem ist: am Ende. Freigabe kommt zum Schluss, so kennt man das aus Papierprozessen.

Schritt 3 hat den Datenbestand verändert, Schritt 4 hat ihn nach außen getragen. Die Freigabe in Schritt 5 kann bestätigen, was passiert ist. Verhindern kann sie nichts mehr. Was bleibt, ist eine Unterschrift unter einem abgeschlossenen Vorgang.

Derselbe Ablauf, dieselbe Anzahl Schritte, eine Zeile verschoben. Der Unterschied: In der zweiten Fassung sieht der Prüfer eine Liste von Vorschlägen und entscheidet. In der ersten sieht er ein Protokoll und quittiert.

Vier Formen, die alle Freigabe heißen

Wo du hier ansetzt

In der dritten Position kommst du zur Laufzeit nicht mehr vor. Der Ablauf startet, verarbeitet und endet, ohne dass jemand darauf wartet oder zusieht.

Der Unterschied zum Agenten liegt nicht im Automatisierungsgrad, sondern darin, ob ein Eingriff überhaupt eingeplant ist. Beim Agenten gibt es eine Stelle, an der jemand wartet. Hier gibt es keine. Ein Ablauf, in den regelmäßig doch jemand eingreift, ist keine Automatisierung, sondern ein Agent mit unklarer Freigabestelle.

Hier wird die Wanderung der Arbeit sichtbar

Der Fall: eingehende Anfragen sortieren

Anfragen kommen per Mail und Formular herein und werden automatisch klassifiziert: Support, Vertrieb, Rechnung, Sonstiges. Unsichere Fälle landen in einer Eskalationsliste, die morgens jemand durchgeht. Nach vier Wochen läuft das rund, die Liste ist kurz, alle sind zufrieden.

Nach vier Monaten hat sich das Produktportfolio geändert. Eine neue Anfrageart kommt regelmäßig herein und wird zuverlässig falsch einsortiert, weil sie einer alten Kategorie ähnelt. Das System meldet dabei keinen Zweifel, denn es hat keinen. Die Eskalationsliste bleibt kurz, und eine kurze Liste wird üblicherweise als gutes Zeichen gelesen.

Was eine Stichprobe wirksam macht

Stichproben stehen in vielen Konzepten und finden in der Praxis selten statt. Der häufigste Grund dafür ist, dass sie weder einen Termin noch eine zuständige Person haben. Drei Bedingungen unterscheiden eine Stichprobe vom Vorsatz, gelegentlich draufzuschauen.

1. Fester Anteil, feste Frequenz, im Kalender. Zwanzig Fälle jeden Montag ist eine Stichprobe. Ab und zu mal reinschauen ist keine.
2. Gezielt aus den Grenzfällen. Nicht zufällig aus allem, sondern knapp über und knapp unter der Schwelle. Dort entscheidet sich, ob die Schwelle noch passt.
3. Ergebnis wird notiert, nicht gefühlt. Zwanzig geprüfte Fälle mit drei Fehlern sind eine Zahl, die man mit der Zahl vom Vormonat vergleichen kann. "Sah gut aus" ist keine.

Wo du hier ansetzt

Ein Muster, das in vielen Häusern vorkommt: Eine Freigabestelle bearbeitet rund zweihundert Vorgänge am Tag, im Schnitt neunzig Sekunden pro Fall inklusive Öffnen und Schließen. Die Ablehnungsquote liegt seit Monaten bei null. In der Prozessdokumentation ist dieser Schritt als menschliche Kontrolle ausgewiesen.

Für diesen Zustand hat sich der Ausdruck HITL-Theater eingebürgert: eine Rolle, die im Prozess als Kontrolle geführt wird, ohne dass an ihr eine Entscheidung stattfindet. Zwei Folgen sind praktisch relevant. Intern entsteht der Eindruck, das Risiko sei abgedeckt. Extern entsteht eine benannte Zuständigkeit, an der im Schadensfall die Verantwortung hängt.

Das Problem ist älter als KI

Dass die Anwesenheit eines Menschen allein noch keine Aufsicht ergibt, ist in der Automatisierungsforschung seit Jahrzehnten beschrieben, lange vor den heutigen KI-Systemen.

Der zweite Satz beschreibt den strukturellen Widerspruch. Ein System wird eingeführt, weil es eine Aufgabe zuverlässiger löst als der Mensch. Anschließend soll derselbe Mensch beurteilen, ob das Ergebnis stimmt. Für diese Beurteilung fehlt ihm genau der Maßstab, wegen dessen Fehlen das System eingeführt wurde.

Die verbreitete Antwort darauf lautet: Wir schulen die Leute und sensibilisieren für das Thema.

Der europäische Gesetzgeber hat dieses Risiko gesehen. Artikel 14 des AI Act verlangt für Hochrisiko-Systeme unter anderem, dass die aufsichtführende Person sich der Neigung bewusst bleibt, dem Output automatisch zu vertrauen. Der Fachbegriff automation bias steht genau einmal im gesamten Gesetzestext, an dieser Stelle. Verlangt wird allerdings nur Bewusstsein. Die Forschung sagt, dass Bewusstsein nicht reicht.

Die Gegenprobe: vier Bedingungen

Vier Fragen, jede mit Ja oder Nein zu beantworten. Kein Reifegrad, keine Skala von eins bis fünf. Eine Skala verleitet zu mittleren Werten, und ein mittlerer Wert lässt offen, ob die Bedingung erfüllt ist oder nicht.

Wohin der Mensch gehört

Der Mensch gehört an die Stellen, an denen diese vier Bedingungen erfüllbar sind und der Schaden eines autonomen Fehlgriffs den Preis der Unterbrechung übersteigt. Fehlt eine der beiden Voraussetzungen, ist der Schritt entweder automatisierbar oder die Freigabe dient allein der Dokumentation.

In der Anwendung streicht der Test meist mehr Gates, als er neue begründet. Das ist beabsichtigt. Zwei Freigabestellen mit ausreichend Zeit und echter Ablehnungsmöglichkeit wirken zuverlässiger als zwölf, an denen nie etwas abgelehnt wird, und sie binden weniger Kapazität.

Bis hierhin standen zwei Rollen nebeneinander. Wer den Prozess baut, setzt das Gate. Wer im Prozess arbeitet, besetzt es. In den meisten Häusern sprechen diese beiden nie über dasselbe Gate.

Der Designer hakt ab, sobald die Freigabe im Ablaufplan steht. Der Prüfer beginnt, sobald ihm das erste Ergebnis vorgelegt wird. Zwischen diesen beiden Zeitpunkten wird nichts übergeben außer der Information, dass es eine Freigabe gibt. Beide Seiten halten ihren Teil danach für abgeschlossen.

Vier Übergaben, vier Kipp-Punkte

Jede der vier Bedingungen kippt an genau dieser Naht, und jedes Mal auf dieselbe Weise: Der Designer trifft eine Entscheidung, die er selbst nicht als Entscheidung wahrnimmt.

Woran du erkennst, dass die Naht offen ist

• Niemand kann sagen, wie lange eine Freigabe dauern darf.
• Es gibt keine Zahl dazu, wie oft an dieser Stelle abgelehnt wird.
• Der Prüfer sieht das Ergebnis zum ersten Mal, wenn er es freigeben soll.
• Auf die Frage, wer das Gate gesetzt hat, kommt eine Abteilung als Antwort, kein Name.

Drei Dinge, die die Naht schließen

1. Das Zeitbudget gehört in die Gate-Spezifikation. Wer ein Gate setzt, schreibt dazu, wie lange ein Fall dauern darf. Passt das nicht in die vorhandene Kapazität, ist das Gate falsch platziert und nicht der Prüfer zu langsam.
2. Die Ablehnungsquote wird gemessen und angesehen. Nicht als Leistungskennzahl der prüfenden Person, sondern als Gesundheitswert des Gates. Wer sie als Leistungskennzahl benutzt, bekommt sofort eine Null.
3. Abnahme mit Namen dran. Nicht um Schuld zu verteilen, sondern weil eine Freigabe ohne Namen keine Entscheidung ist, sondern ein Vorgang. Entscheidungen haben Urheber.

Und der Weg zurück ist genauso wichtig. Der Prüfer ist die beste Quelle für die Frage, ob das Gate richtig steht. Er sieht als Einziger, was regelmäßig unauffällig durchgeht und wo es jedes Mal hakt. Wenn niemand ihn fragt, bleibt diese Information bei ihm und wird nie zu einer Änderung am Prozess.

Drei Modi, zwei Rollen

Die fünf Regeln

Der Entscheidungsweg

1. Was passiert im schlimmsten Fall, und ab welchem Schritt lässt es sich nicht mehr zurückdrehen?
2. Übersteigt dieser Schaden den Preis einer Unterbrechung? Wenn nein, kein Gate. Automatisieren und Stichprobe planen.
3. Wenn ja: Gate unmittelbar vor den letzten umkehrbaren Punkt setzen und festhalten, was dort sichtbar sein muss.
4. Vier-Bedingungen-Test auf die Person anwenden, die dort stehen soll. Vier Mal Ja, sonst Bedingung herstellen oder Gate streichen.

Wenn ein Gate nicht funktioniert

Der nächste Schritt

Nimm ein einziges Gate aus deinem Alltag. Die Frage ist nicht, ob es existiert, das weißt du. Die Frage ist, wann dort zuletzt etwas abgelehnt wurde. Sie lässt sich meist in wenigen Minuten beantworten und zeigt, ob die Stelle arbeitet oder nur dokumentiert wird.

Begriffe aus dieser Lesson

• Human-in-the-Loop — Human-in-the-Loop bedeutet, dass ein Mensch an einer definierten Stelle im KI-Workflow prüft, entscheidet oder korrigiert, bevor das System weitermacht. Die bewusste Verbindung von KI-Geschwindigkeit und menschlichem Urteil.