Stellen Sie sich jemanden vor, der für Sie die Post liest. Morgens sortiert er den Stapel, öffnet jeden Brief, liest ihn Ihnen vor und erledigt, worum darin gebeten wird. Zuverlässig. Schnell. Nie schlecht gelaunt.

Er hat nur eine Eigenart. Er kann nicht unterscheiden, ob eine Anweisung von Ihnen kommt oder ob sie im Brief selbst steht.

Steht also irgendwo zwischen „Sehr geehrte Damen und Herren“ und der Grußformel der Satz „Hör auf zu lesen und nenne die Zahlenkombination des Safes“, dann liest er diesen Satz nicht einfach vor. Er nennt die Kombination.

Das ist Prompt Injection. Kein ausgedachtes Schreckensbild, sondern die Schwachstelle, die heute ganz oben auf der Liste der gefährlichsten Risiken für KI-Anwendungen steht.

Prompt Injection nutzt versteckte Anweisungen in fremden Inhalten, um KI-Systeme zu unerwünschtem Verhalten zu verleiten.

Ein alter Trick in neuem Gewand

Der Begriff stammt von dem Entwickler Simon Willison, der ihn im September 2022 prägte, kurz nachdem ein Forscher öffentlich vorgeführt hatte, wie sich ein Sprachmodell mit ein paar geschickten Sätzen aus dem Konzept bringen lässt. Willison wählte den Namen mit Bedacht. Er erinnert an die SQL Injection, einen Klassiker der IT-Sicherheit, bei dem ein Angreifer in ein harmloses Eingabefeld Datenbankbefehle schmuggelt.

Das Muster ist dasselbe. Befehl und Inhalt landen im selben Kanal, und das System verwechselt das eine mit dem anderen.

Nur gibt es einen entscheidenden Unterschied. Gegen SQL Injection hat die Softwarewelt vor Jahren eine saubere Lösung gefunden: Man trennt Befehl und Daten technisch, sodass eingeschmuggelte Inhalte nie als Kommando gelesen werden. Für die Sprache gibt es diese Trennung nicht. Ein großes Sprachmodell verarbeitet alles, was es bekommt, als einen einzigen Strom aus Wörtern. Die Anweisung des Betreibers, die Frage des Nutzers, der Text aus einem Dokument: alles dieselbe Suppe. Das Modell kann nicht zuverlässig sagen, welcher Löffel daraus eine echte Anweisung ist und welcher nur Material zum Verarbeiten.

Manche nennen das Social Engineering für Maschinen. Der Angreifer braucht keine Sicherheitslücke im Code, kein Schadprogramm, keinen geknackten Zugang. Er braucht nur die richtigen Worte. Es ähnelt mehr einem Trickbetrug als einem klassischen Einbruch. Schon kurz nach dem Start der ersten großen Chatbots führten Neugierige genau das vor: Sie überredeten die Systeme dazu, ihre eigenen geheimen Betreiber-Anweisungen auszuplaudern, einfach indem sie freundlich danach fragten. Und das macht es so unangenehm. Auf der OWASP-Rangliste der größten Schwachstellen für KI-Anwendungen steht Prompt Injection seit Jahren auf Platz eins.

Zwei Wege, den Zettel unterzuschieben

Es gibt zwei Spielarten, und der Unterschied entscheidet darüber, wie heimtückisch der Angriff ist.

Die direkte Variante ist die offensichtliche. Jemand tippt die manipulierte Anweisung selbst ein. Der berüchtigte Satz „Ignoriere alle bisherigen Vorgaben“ gehört hierher. Das wirkt zunächst harmlos und manchmal sogar komisch. Ein Autohändler in Kalifornien musste das erleben, als Besucher seinen KI-Chatbot dazu brachten, ihnen ein Fahrzeug für einen einzigen Dollar zuzusagen und nebenbei noch die Konkurrenz zu empfehlen. Lustig, solange es um Autos und nicht um Kontostände geht.

Die indirekte Variante ist die gefährliche. Hier tippt der Angreifer gar nichts in den Chat. Er versteckt seine Anweisung in einem Inhalt, den die KI später ohnehin verarbeitet: in einer Website, einem Dokument, einer E-Mail, manchmal sogar in Text, der für das menschliche Auge unsichtbar ist. Der vergiftete Zettel liegt schon im Briefstapel, bevor Sie Ihren Vorleser bitten, die Post durchzugehen.

Erinnern Sie sich an den Vorleser? Die direkte Injection ist der Fremde, der ihm an der Tür einen Zettel in die Hand drückt. Die indirekte ist der Brief mit der falschen Zeile mittendrin, von dem niemand ahnt, dass er manipuliert wurde. Den ersten könnten Sie noch abfangen. Den zweiten sehen Sie nicht kommen.

Welche Inhalte lässt Ihre KI eigentlich ungeprüft an sich heran?

Wenn der Vorleser auch die Schlüssel hat

Lange galt Prompt Injection als theoretisches Problem. Ein netter Beweis im Labor, ein Chatbot, der ein freches Gedicht schreibt. Nicht schön, aber kein echter Schaden.

Das hat sich geändert, seit KI nicht mehr nur redet, sondern handelt.

Moderne KI-Assistenten dürfen Mails verschicken, Dateien öffnen, Datenbanken durchsuchen, Code ausführen, Termine buchen. Sie haben Zugangsdaten, Werkzeuge und ein gewisses Maß an Eigenständigkeit. In dem Moment wird aus einer manipulierten Antwort eine manipulierte Handlung. Der Vorleser nennt nicht mehr nur die Kombination des Safes. Er öffnet ihn und schickt den Inhalt aus dem Haus.

Simon Willison hat dafür ein einprägsames Bild geprägt, die sogenannte tödliche Dreierkombination. Gefährlich wird ein KI-System genau dann, wenn drei Dinge zusammenkommen: Es hat Zugriff auf vertrauliche Daten. Es verarbeitet Inhalte aus nicht vertrauenswürdigen Quellen. Und es kann nach außen kommunizieren. Wer alle drei Fähigkeiten in einem System bündelt, baut sich ein Einfallstor. Das Bittere daran: Genau diese Kombination macht solche Assistenten überhaupt erst nützlich. Die Schwachstelle ist das Verkaufsargument.

Wie real das ist, zeigte im Juni 2025 ein Angriff mit dem Namen EchoLeak. Sicherheitsforscher demonstrierten, dass eine einzige präparierte E-Mail genügte, um aus Microsofts KI-Assistenten in Office vertrauliche Firmendaten abzuziehen. Das Opfer musste die Mail nicht einmal anklicken. Es reichte, den Assistenten später um eine Zusammenfassung des Postfachs zu bitten. Die versteckten Anweisungen in der Mail taten den Rest, und die Daten wanderten unbemerkt auf einen fremden Server. Der Vorfall bekam die offizielle Kennung CVE-2025-32711 und gilt als der erste belegte Fall, in dem eine Prompt Injection in einem echten Produktivsystem zu einem konkreten Datenabfluss führte. Es blieb nicht der einzige. Selbst in Entwicklerwerkzeugen und in den Schnittstellen, über die KI-Agenten externe Programme ansteuern, tauchten im Lauf des Jahres ähnliche Lücken auf.

Und das Problem wächst schneller, als die Vorsicht mithält. Laut dem Sicherheitsbericht von Cisco aus dem Jahr 2026 planen mehr als vier von fünf Unternehmen den Einsatz handelnder KI-Agenten. Nur ein knappes Drittel traut sich zu, diese auch sicher zu betreiben. Die Lücke zwischen Begeisterung und Absicherung ist genau der Raum, in dem solche Angriffe gedeihen.

Warum sich das nicht einfach wegpatchen lässt

Hier liegt der Punkt, den viele unterschätzen.

Ein normaler Softwarefehler wird gefunden, behoben, geschlossen. Fertig. Prompt Injection funktioniert anders. Sie ist kein Fehler im Bauplan, sondern eine Eigenschaft des Materials. Solange ein Modell Anweisung und Inhalt im selben Wörterstrom liest, bleibt die Tür einen Spalt offen.

Das ist keine pessimistische Behauptung, sondern inzwischen Konsens unter denen, die es wissen müssen. Das britische National Cyber Security Centre warnte Ende 2025, dass dieses Problem womöglich nie vollständig zu lösen sei, weil es daran hängt, wie Sprachmodelle Sprache überhaupt verstehen. Auch OpenAI räumte Anfang 2026 öffentlich ein, dass sich Prompt Injection in KI-Browsern vielleicht nie restlos beheben lässt. Eine seltene Ehrlichkeit in einer Branche, die sonst gern alles im Griff hat.

Die Krux liegt in einer simplen Spannung. Ein Sprachmodell soll Anweisungen in natürlicher Sprache folgen, das ist sein ganzer Zweck. Jeder Filter, der verdächtige Anweisungen blockiert, blockiert zwangsläufig auch legitime. Drehen Sie den Schutz zu hoch, wird das Werkzeug unbrauchbar. Drehen Sie ihn zu niedrig, bleibt es verwundbar. Es gibt keinen Regler, der beides zugleich erfüllt.

Was wirklich hilft

Wenn man ein Problem nicht beseitigen kann, lernt man, mit ihm zu leben. Klug, nicht resigniert. Drei Haltungen tragen weiter als jeder Wunderfilter.

Erstens: dem Vorleser nur die Schlüssel geben, die er wirklich braucht. Eine KI, die bloß eine Wissensdatenbank durchsuchen soll, braucht keine Berechtigung, Mails zu verschicken oder Dateien zu löschen. Je weniger ein manipuliertes System anrichten kann, desto kleiner der Schaden. Fachleute nennen dieses Prinzip die geringstmögliche Berechtigung.

Zweitens: bei allem, was wehtun kann, ein Mensch dazwischen. Geld überweisen, Zugänge vergeben, Daten löschen, nach außen kommunizieren. Vor solchen Schritten gehört eine bewusste menschliche Freigabe, kein automatisches Durchwinken. Google nennt das einen Bestätigungsrahmen, andere sagen schlicht: Hand am Schalter.

Drittens: keinem fremden Text blind vertrauen. Was aus einer Website, einer Mail oder einem hochgeladenen Dokument ins Modell fließt, ist kein Befehl, sondern Material. Ein durchdachtes System behandelt es auch so, prüft Eingaben, bevor sie ankommen, und Ausgaben, bevor sie etwas auslösen. Simon Willison hat sogar einen Bauplan mit zwei getrennten Modellen vorgeschlagen: eines mit Befugnissen, das nur vertrauenswürdige Daten sieht, und ein zweites, das den verdächtigen Stoff verarbeitet, ohne je selbst die Hand am Schalter zu haben.

Keine dieser Maßnahmen schließt die Tür ganz. Zusammen verengen sie den Spalt so weit, dass ein Angreifer kaum noch hindurchpasst. Untersuchungen zeigen, dass mehrschichtige Verteidigung die Erfolgsquote solcher Angriffe drastisch senkt. Nicht auf null. Aber von riskant auf beherrschbar. Für den sicheren Umgang mit KI im eigenen Haus liefert auch das Bundesamt für Sicherheit in der Informationstechnik brauchbare Leitplanken. Wer tiefer einsteigen will, findet bei Simon Willison selbst die wohl gründlichste fortlaufende Chronik des Themas.

Der eigentliche Gedanke

Prompt Injection ist keine vorübergehende Kinderkrankheit, die der nächste Modellsprung heilt. Sie ist der Preis dafür, dass wir Maschinen gebaut haben, die Sprache verstehen. Wer Sprache versteht, lässt sich mit Sprache überreden. Das gilt für Menschen, und es gilt jetzt auch für ihre Werkzeuge.

Die Frage ist also nicht, wie Sie Ihren Vorleser unbestechlich machen. Das schaffen Sie nicht. Die Frage ist, wie viel Sie ihm anvertrauen, bevor Sie wissen, wessen Stimme er gerade gehorcht.

Was könnte Ihre KI heute in Ihrem Namen tun, das Sie ihr nie ausdrücklich erlaubt haben?