Drei Uhr nachts, eine Leitwarte. Eine Wand aus Bildschirmen, auf der hundert Dinge gleichzeitig laufen.

Transaktionen rauschen durch, Datenströme, Statusbalken, alles grün. Niemand drückt einen Knopf. Niemand gibt etwas frei. In der Mitte sitzt ein Mensch, die Hände im Schoß, und schaut.

Er steuert nicht. Er entscheidet nichts. Bis um 03:14 Uhr ein Balken rot wird.

Dann, und erst dann, steht er auf.

Dieser Mensch ist Human on the Loop.

Human on the Loop bedeutet, dass KI eigenständig arbeitet, während ein Mensch überwacht und nur bei Bedarf eingreift.

Was Human on the Loop bedeutet

Human on the Loop, kurz HOTL, beschreibt ein System, das eigenständig arbeitet, während ein Mensch es überwacht und nur dann eingreift, wenn etwas aus dem Ruder läuft. Die KI führt den Vorgang von Anfang bis Ende selbst aus. Der Mensch steht nicht in der Kette der einzelnen Entscheidungen. Er steht daneben, am Rand, mit dem Finger nah am Notausknopf.

Der feine, aber entscheidende Unterschied zum verwandten Human in the Loop liegt darin, wer die Initiative hat. Beim Human in the Loop wartet die Maschine. Sie hält an und fragt: Darf ich? Beim Human on the Loop fragt sie nicht. Sie handelt. Und es liegt allein am Urteil des Menschen, wann er genauer hinsieht und wann er eingreift. Eine kompakte Einordnung dieser Aufsichtsmodelle liefert etwa das Glossar von Credo AI.

Anders gesagt: Der Mensch ist vom Operator zum Aufseher geworden. Er bedient die Maschine nicht mehr. Er beaufsichtigt sie.

Eine Skala, kein Schalter

Automatisierung ist keine Ja-oder-Nein-Frage. Sie ist ein Regler mit mehreren Stellungen, und HOTL ist eine davon.

Ganz links steht der Mensch, der jede einzelne Aktion freigibt: Human in the Loop. Maximale Kontrolle, aber langsam. Bei jedem Schritt muss jemand nicken, und das wird zum Nadelöhr, sobald die Mengen wachsen.

In der Mitte steht der Aufseher: Human on the Loop. Die Maschine läuft, der Mensch wacht. Schneller, rund um die Uhr, ohne dass jemand jede Bewegung abzeichnet.

Noch eine Stufe weiter setzt der Mensch nur die Ziele und Grenzen und behält das Recht, alles zu stoppen: Human in Command. Er führt, er bedient nicht.

Ganz rechts schließlich ist niemand mehr da. Human out of the Loop, volle Autonomie, kein Eingriff vorgesehen.

HOTL ist also die Stellung für den Fall, dass die Maschine reif genug ist, allein zu laufen, der Einsatz aber zu groß, um sie ganz sich selbst zu überlassen. Welche Stufe richtig ist, hängt vom Risiko ab, vom Reifegrad des Systems und davon, wie teuer ein Fehler wird.

Wo HOTL seine Stärke ausspielt

Warum überhaupt der Mensch zur Seite treten und die Maschine laufen lassen? Weil es Aufgaben gibt, bei denen Freigabe für jede einzelne Entscheidung schlicht absurd wäre.

Eine Plattform für IT-Sicherheit prüft Tausende Ereignisse pro Minute. Niemand kann jeden Alarm von Hand bestätigen, ohne dass das System im selben Moment unbrauchbar wird. Eine Betrugserkennung im Zahlungsverkehr filtert Millionen Buchungen, blockt das Verdächtige automatisch und legt nur die wenigen Grenzfälle einem Menschen vor. Eine Plattform moderiert Inhalte im Sekundentakt. Ein Schwarm autonomer Softwareagenten erledigt Routineanfragen, während eine Aufsicht über alles wacht. Aus dem militärischen Bereich stammt das vielleicht bekannteste Beispiel: eine Überwachungsdrohne, die ein weites Gebiet selbstständig abfliegt, während ein Operator aus der Ferne mitschaut und in jedem Moment übernehmen kann, sobald eine Entscheidung Gewicht bekommt.

Das Muster ist immer dasselbe. Die Maschine übernimmt die Masse. Der Mensch übernimmt die Ausnahme.

Genau hier liegt der Reiz: Geschwindigkeit und Reichweite ohne den menschlichen Flaschenhals. Moderne KI-Agenten können planen, Werkzeuge bedienen, ganze Abläufe ohne Hilfe durchziehen. Wollte man jede ihrer Aktionen abnicken lassen, wäre der ganze Effizienzgewinn dahin. HOTL ist der Versuch, das Tempo der Maschine zu behalten und trotzdem eine Hand am Schalter zu lassen.

Klingt nach dem Besten aus beiden Welten. Und genau an dieser Stelle wird es heikel.

Die Falle: die Wache, die einschläft

Stellen Sie sich denselben Menschen aus der Leitwarte vor. Erste Stunde: hellwach, jeder Balken im Blick. Zweite Stunde: er trinkt Kaffee, scrollt nebenbei am Telefon. Dritte Stunde, alles grün, sein Blick wird glasig.

Und dann wird der Balken rot.

Die Forschung kennt dieses Phänomen seit Jahrzehnten und hat einen Namen dafür: das Out-of-the-Loop-Problem. Wer ein automatisches System nur noch überwacht, statt es zu steuern, verliert nach und nach den Faden. Die Wachsamkeit lässt nach. Das Vertrauen kippt in Bequemlichkeit. Der Mensch wechselt vom aktiven Mitdenken ins passive Zuschauen. Und wenn die Maschine dann wirklich versagt, ist ausgerechnet der Aufseher am langsamsten darin, das Steuer zu übernehmen. Die wegweisende Untersuchung dazu von Mica Endsley und Esin Kiris zeigte schon 1995, dass die Reaktionszeit nach einem Systemausfall genau dann am schlechtesten ist, wenn der Mensch lange nur zugesehen hat. Nachzulesen in der Originalstudie.

Lesen Sie diesen Satz ruhig zweimal.

Der gefährlichste Moment ist nicht der Alarm. Es ist die dritte Stunde ohne Alarm.

Denn dort, in der trügerischen Ruhe, baut sich die Wachsamkeit ab, die im Ernstfall gebraucht wird. Und noch etwas Unbequemes fand dieselbe Forschung heraus: Der Verlust an Übersicht ist bei voller Automatisierung größer als bei mittlerer. Lässt man den Menschen ein Stück weit beteiligt, statt ihn nur zuschauen zu lassen, bleibt seine Aufmerksamkeit wacher und er kann im Notfall schneller eingreifen. Mehr Autonomie ist also nicht automatisch mehr Sicherheit. Manchmal ist sie das Gegenteil.

Dazu kommt das Tempo. Wenn ein autonomes System einen Fehler macht, macht es ihn nicht einmal. Es macht ihn tausendfach, in Maschinengeschwindigkeit, bevor ein Mensch überhaupt aufblickt. Ein Tippfehler im Code, eine schiefe Annahme, eine Verzerrung in den Daten, und der Schaden hat sich vervielfacht, ehe die erste rote Warnung erscheint. Beim Human in the Loop bleibt ein Fehler ein Einzelfall. Beim Human on the Loop wird er zur Lawine, falls niemand rechtzeitig hinsieht.

Wie lange, ehrlich gefragt, würden Sie selbst in der dritten Stunde noch jeden grünen Balken wirklich lesen?

Was echte Aufsicht braucht

Eine Wache, die einschläft, ist keine Aufsicht. Sie ist Dekoration. Damit HOTL trägt, braucht es mehr als einen Stuhl vor Monitoren.

Es braucht erstens ein System, das sich sauber unterbrechen lässt: anhalten, prüfen, zurücknehmen, ohne dass dabei Daten verloren gehen. Ein autonomes System ohne verlässlichen Stopp-Mechanismus ist ein Auto ohne Bremse. Schnell, gewiss, aber nur bis zur ersten Kurve.

Es braucht zweitens kluge Alarme. Nicht alles grün, alles still, bis es kracht. Sondern klare Schwellenwerte, ab denen das System selbst Alarm schlägt und den Menschen an die richtige Stelle zieht. Die Maschine muss melden, wenn sie unsicher wird, statt ihre Unsicherheit hinter ruhiger Oberfläche zu verstecken.

Es braucht drittens ein Protokoll. Wer hat wann was getan, und auf welcher Grundlage? Ohne Aufzeichnung gibt es nach einem Vorfall niemanden, der erklären kann, was geschah. Und ohne diese Erklärung gibt es auch keine Verantwortung, nur Schulterzucken.

Es braucht viertens Wachheit mit Methode. Eine Aufsicht, die nie etwas zu tun bekommt, verlernt das Eingreifen. Manche Betriebe streuen deshalb absichtlich Stichproben ein, lassen Menschen regelmäßig echte Fälle entscheiden, halten die Hand also in Übung. Eine Wache bleibt nur wach, wenn sie hin und wieder gefordert wird.

Und es braucht, über allem, die eine ehrliche Frage: Wie schwer lässt sich der Fehler rückgängig machen? Je schwerer ein Schaden zu reparieren ist, desto näher muss der Mensch ans Steuer. Eine falsch einsortierte E-Mail ist in Sekunden korrigiert, hier darf die Maschine durchlaufen. Eine zu Unrecht gesperrte Existenz, eine fehlgeleitete medizinische Einschätzung, eine Waffe, die ein Ziel wählt: das holt niemand so leicht zurück. Solche Entscheidungen gehören nicht auf die HOTL-Stufe. Sie gehören in die Hand, die jede einzelne Aktion freigibt.

Was der Gesetzgeber dazu sagt

In Europa ist menschliche Aufsicht keine Geschmacksfrage mehr. Artikel 14 der EU-KI-Verordnung verlangt für Hochrisiko-Systeme, dass Menschen den Betrieb verstehen, Auffälligkeiten erkennen und das System notfalls unterbrechen oder übersteuern können. Ausdrücklich warnt die Verordnung vor der Neigung, sich zu sehr auf maschinelle Ergebnisse zu verlassen. Genau jene Bequemlichkeit also, die der Wache in der Leitwarte zum Verhängnis wird. Den Wortlaut können Sie beim offiziellen AI-Act-Portal nachlesen.

Entscheidend ist: Das Gesetz schreibt nicht eine einzige Form der Aufsicht vor. Die Maßnahmen müssen zum Risiko, zum Grad der Selbstständigkeit und zum Einsatzkontext passen. Für manche Systeme genügt die laufende Überwachung, also genau das HOTL-Muster. Bei den heikelsten Entscheidungen verlangt der Gesetzgeber dagegen die Freigabe jeder einzelnen Aktion. Eine fundierte Einordnung dieser abgestuften Aufsichtspflichten findet sich auch in den Erläuterungen von IBM zum Thema menschliche Aufsicht.

Die Stufe ist also kein technisches Detail. Sie ist eine Risikoentscheidung, und sie muss begründet sein.

Am Ende läuft alles auf einen einzigen Gedanken hinaus. Ein autonomes System, das niemand wirklich beaufsichtigt, ist nicht effizient. Es ist nur schnell unterwegs in eine Richtung, die keiner mehr kontrolliert. Die Kunst des Human on the Loop besteht nicht darin, den Menschen wegzurationalisieren. Sie besteht darin, ihn so zu setzen, dass er noch eingreifen kann, wenn es darauf ankommt.

Die Frage ist nie, ob jemand danebensitzt.

Die Frage ist, ob er noch aufsteht, wenn der Balken rot wird.