Stellen Sie sich eine lange Reihe Dominosteine vor.

Eine Stunde haben Sie gebaut. Jeden Stein einzeln gesetzt, mit ruhiger Hand, Abstand um Abstand. Jetzt steht alles. Sie tippen den ersten an.

Und in dem Augenblick, in dem der erste fällt, sind Ihre Hände nutzlos geworden.

Die Kette läuft. Schneller, als Sie greifen könnten. Würden Sie jetzt hineinfassen, würden Sie nur mehr umwerfen. Wo der letzte Stein fällt, haben Sie längst entschieden. Damals, beim Bauen. Nicht jetzt.

Das ist Human out of the Loop.

Human out of the Loop beschreibt KI-Systeme, die nach dem Start ohne menschliche Kontrolle oder Eingriffsmöglichkeit handeln.

Was Human out of the Loop bedeutet

Human out of the Loop, oft abgekürzt als HOOTL, beschreibt ein KI-System, das vollständig autonom arbeitet. Kein Mensch greift während des Betriebs ein, niemand prüft, niemand gibt frei, niemand überwacht in Echtzeit. Die Maschine wahrnimmt, entscheidet und handelt allein, auf Grundlage ihrer Regeln und der Daten, mit denen sie trainiert wurde.

Menschen sind dabei nicht verschwunden. Sie haben das System entworfen, seine Ziele gesetzt, seine Grenzen definiert und es in Betrieb genommen. Aber sie sitzen nicht mehr in der Schleife. Sie haben die Dominosteine gestellt und den ersten angetippt. Was danach passiert, läuft ohne sie.

Auf der Skala menschlicher Aufsicht steht HOOTL ganz am Ende. Beim Human in the Loop gibt der Mensch jede Aktion frei. Beim Human on the Loop überwacht er den Betrieb und greift bei Auffälligkeiten ein. Beim Human in Command bestimmt er den Rahmen und behält das Recht, alles zu stoppen. Beim Human out of the Loop ist im laufenden Betrieb kein Platz mehr für ihn vorgesehen. Eine kompakte regulatorische Einordnung dieser Stufe liefert etwa das Glossar von Regulations.ai.

Die Maschine läuft. Punkt.

Wenn der Mensch nur bremsen würde

Jetzt der Teil, den man leicht übersieht, wenn man HOOTL reflexhaft für gefährlich hält. Manchmal ist die Abwesenheit des Menschen kein Risiko. Manchmal ist sie die Rettung.

Ein Airbag entscheidet in wenigen Millisekunden, ob er zündet. Ein Notbremsassistent reagiert, bevor der Fuß überhaupt zum Pedal findet. Würde hier ein Mensch noch zustimmen müssen, wäre der Unfall längst geschehen, ehe er „ja“ gedacht hat. In solchen Lagen ist menschliches Mitwirken nicht Sicherheit, sondern Verzögerung. Und Verzögerung kann töten.

Dasselbe Prinzip, nur harmloser, läuft tausendfach im Alltag. Der Spamfilter sortiert Werbemüll aus, ohne zu fragen. Die Empfehlung auf der Streaming-Seite erscheint von selbst. Eine Cloud skaliert ihre Rechenleistung automatisch hoch, wenn der Andrang wächst. Eine Betrugserkennung blockt verdächtige Zahlungen in dem Sekundenbruchteil, in dem sie auflaufen. In all diesen Fällen wäre ein Mensch in der Schleife nicht klüger, nur langsamer.

Der ehrliche Maßstab lautet deshalb nicht „je mehr Mensch, desto besser“. Er lautet: Würde der Mensch hier etwas verbessern, oder würde er nur im Weg stehen? Wo Entscheidungen häufig, harmlos und schnell wieder rückgängig zu machen sind, ist volle Autonomie oft die vernünftigste Wahl. Wo eine Maschine in einer Geschwindigkeit handeln muss, die kein Mensch erreicht, wird Autonomie sogar zur Pflicht.

Soweit das Licht. Jetzt der Schatten.

Die Kette ohne Bremse

Eine Dominokette hat eine unangenehme Eigenschaft. Sie hat keine Bremse.

Genau das ist die Kehrseite jedes HOOTL-Systems. Macht es einen Fehler, macht es ihn vollständig. Es gibt keinen Punkt, an dem jemand innehält und sagt: Moment, das stimmt nicht. Eine falsche Annahme, eine Verzerrung in den Daten, ein Sonderfall, den die Regeln nie vorgesehen haben, und der Fehler pflanzt sich fort, Stein um Stein, bis die Kette durchgelaufen ist. Niemand fängt ihn ab, weil niemand mehr da ist, der ihn abfangen könnte.

Dazu kommt das Unvorhergesehene. Eine KI handelt nach Mustern, die sie aus der Vergangenheit gelernt hat. Trifft sie auf eine Lage, die in keinem Trainingsdatensatz vorkam, fehlt ihr genau das, was ein Mensch in solchen Momenten einbringt: Urteilskraft, Kontext, der gesunde Zweifel. Sie zögert nicht. Sie macht weiter, mit derselben Selbstsicherheit wie immer, auch wenn sie längst ins Leere greift.

Und es gibt das Problem der Undurchsichtigkeit. Viele moderne Systeme sind eine Art Blackbox. Sie liefern ein Ergebnis, aber nicht den Weg dorthin. Wenn niemand mehr mitliest, bemerkt auch niemand, wenn die Maschine aus den falschen Gründen das scheinbar Richtige tut.

Wie schnell so etwas eskalieren kann, hat der Aktienhandel vorgeführt. Beim sogenannten Flash Crash im Mai 2010 stürzten US-Börsenkurse innerhalb von Minuten dramatisch ab und erholten sich fast ebenso schnell wieder. Im Zentrum standen automatische Handelssysteme, die in Höchstgeschwindigkeit aufeinander reagierten und sich gegenseitig nach unten rissen, schneller, als ein Mensch den Bildschirm auch nur hätte deuten können. Eine Kette, die fiel, ehe jemand begriff, dass sie fiel.

Was passiert, wenn so ein System Schaden anrichtet, und niemand war da, um einzugreifen? Wer hat dann entschieden?

Wo aus der Technikfrage eine Gewissensfrage wird

An einer Stelle hört HOOTL auf, eine reine Frage der Effizienz zu sein, und wird zur moralischen Grenze. Bei Waffen, die selbst entscheiden, wen sie angreifen.

Ein UN-Bericht über den Konflikt in Libyen aus dem Jahr 2021 beschreibt den Einsatz einer Drohne, die nach dem Prinzip arbeitete, das der Bericht mit den Worten „fire, forget and find“ umschreibt: abfeuern, vergessen, finden. Sie sollte Ziele angreifen, ohne dass eine Verbindung zum Bediener nötig war. Ob dabei tatsächlich Menschen durch eine autonom handelnde Waffe getötet wurden, ist nicht abschließend belegt, der Bericht legt es nahe, ohne es zu beweisen. Die Auseinandersetzung mit dem Fall und seinen rechtlichen Fragen findet sich beim humanitären Fallarchiv des IKRK, die journalistische Aufarbeitung etwa bei NPR.

Genau hier zeigt sich, warum „aus der Schleife“ mehr ist als eine technische Einstellung. Eine Maschine, die selbst über Leben und Tod entscheidet, nimmt dem Menschen nicht nur den Handgriff ab. Sie nimmt ihm das Gewissen ab. Und ein Gewissen lässt sich nicht in Regeln gießen. Eben deshalb wird international seit Jahren darüber gestritten, ob solche Systeme überhaupt erlaubt sein dürfen.

Man muss nicht über Waffen sprechen, um die Lehre mitzunehmen. Sie gilt überall: Je schwerer und je unumkehrbarer die Folge, desto weniger gehört die Entscheidung in eine Kette, die niemand mehr anhalten kann.

Aus der Schleife heißt nicht aus der Verantwortung

Es gibt einen verführerischen Gedanken bei vollautonomen Systemen. Wenn kein Mensch mehr eingreift, dann trägt am Ende auch keiner die Schuld. Die Maschine war es. Niemand wollte es so.

Das ist ein Trugschluss, und zwar ein gefährlicher.

Aus der Schleife heißt nicht aus der Verantwortung. Es heißt nur, dass die ganze Verantwortung in einen einzigen Augenblick rückt: in den, in dem jemand den ersten Stein antippt.

Denn jemand hat die Kette gebaut. Jemand hat entschieden, welche Regeln gelten, welche Daten das System fütterten, wo seine Grenzen liegen sollten und wo eben nicht. Jemand hat den Schalter umgelegt und das System von der Leine gelassen. Die menschliche Urteilskraft ist bei HOOTL nicht abwesend. Sie ist nur vorverlegt. Sie steckt nicht mehr im laufenden Betrieb, sondern in jeder Entscheidung, die vor dem Start getroffen wurde.

Das macht den Bau der Kette so heikel. Wer keinen Eingriff mehr vorsieht, muss alles, was er an Sorgfalt, Weitsicht und ethischem Urteil hat, schon vorher hineinlegen. Es gibt keine zweite Chance unterwegs. Was beim Stellen der Steine übersehen wurde, lässt sich beim Fallen nicht mehr beheben.

Wer entwirft also in Ihrem Umfeld die Ketten, die später ohne Aufsicht laufen, und mit welcher Sorgfalt?

Kein Trophäenschrank

In Technikkreisen gilt volle Autonomie manchmal als Krönung, als der heilige Gral der Automatisierung. Je weniger Mensch, desto fortschrittlicher das System. So wird HOOTL gern verkauft.

Dieser Stolz führt in die Irre. Volle Autonomie ist kein Orden, den man sich ans Revers heftet. Sie ist eine nüchterne Einstellung am Regler, die man genau dann wählt, wenn ein Mensch im Betrieb nichts beitragen würde außer Verzögerung. Sie eignet sich für das Kleine, Schnelle, Folgenlose. Sie taugt nicht als Beweis für Reife, sondern verlangt sie. Wer „vollautonom“ sagt und „besonders weit“ meint, hat die Frage verwechselt. Es geht nicht darum, wie viel man automatisieren kann, sondern wie wenig man dabei aufs Spiel setzt.

Wo die Grenze verläuft

Die Gesetzgebung zieht hier eine deutliche Linie. Die EU-KI-Verordnung verlangt für Hochrisiko-Systeme wirksame menschliche Aufsicht, also die Möglichkeit, den Betrieb zu verstehen, zu überwachen und notfalls zu stoppen. Für genau diese Systeme ist vollständige Autonomie damit faktisch ausgeschlossen. Wo es um Gesundheit, Sicherheit oder Grundrechte geht, darf die Kette nicht ohne anhaltbare Hand laufen. Den Wortlaut der Aufsichtspflicht können Sie beim offiziellen AI-Act-Portal nachlesen.

HOOTL bleibt also dort sinnvoll, wo die Folgen klein, die Vorgänge zahlreich und Fehler leicht zu korrigieren sind. Es wird zur Pflicht, wo nur Geschwindigkeit Leben rettet. Und es ist verboten oder zumindest hochproblematisch, wo eine falsche Entscheidung nicht mehr zurückzuholen ist.

Die Kunst liegt nicht darin, möglichst viel zu automatisieren. Sie liegt darin, ehrlich zu unterscheiden, welche Ketten man getrost laufen lassen kann und welche man niemals ohne eine Hand am Ende bauen darf.

Denn eine Dominokette ist ein schönes Spiel, solange am Ende nur Steine umfallen.

Die einzige Frage, die wirklich zählt, lautet deshalb: Was steht am Ende Ihrer Kette, und sind Sie bereit, es fallen zu sehen, ohne noch eingreifen zu können?