Stellen Sie sich eine Küche vor. Eine richtig gute. Der Koch beherrscht sein Handwerk, das Messer sitzt, die Temperatur stimmt, jede Bewegung hat Jahre der Übung hinter sich. Was auf den Teller kommt, ist tadellos.

Bis zu dem Tag, an dem ein Gast nach dem ersten Bissen zusammensackt.

Es lag nicht am Koch. Es lag nicht am Rezept. Es lag am Mehl, das schon Wochen vorher manipuliert wurde, lange bevor jemand die Schürze umband. Der Beste am Herd kann nichts retten, wenn die Zutaten vergiftet in die Vorratskammer kamen.

Genau das ist Data Poisoning. Und es ist der vielleicht unterschätzteste Angriff auf künstliche Intelligenz, weil er nicht dort passiert, wo wir hinschauen.

Data Poisoning manipuliert KI schon beim Lernen, indem vergiftete Daten scheinbar sauber in das Modell gelangen.

Der Angriff, der vor der ersten Antwort geschieht

Die meisten Bedrohungen für KI finden statt, während das System läuft. Jemand schmuggelt einem Chatbot im Gespräch eine falsche Anweisung unter, und das Modell gehorcht. Gemeint damit ist Prompt Injection. Das ist gefährlich, aber sichtbar. Es passiert im Hier und Jetzt.

Data Poisoning ist anders. Es passiert davor.

Ein Sprachmodell lernt, indem es gewaltige Mengen an Text verarbeitet, Muster bildet, Zusammenhänge speichert. Diese Trainingsdaten sind seine Zutaten. Wer sie verändert, bevor das Modell daraus lernt, verändert nicht eine einzelne Antwort. Er verändert den Koch selbst. Was das Modell danach auf den Teller bringt, trägt die Manipulation in sich, auch wenn niemand mehr an der Maschine herumpfuscht.

Der Fachbegriff klingt nüchtern: das absichtliche Einschleusen korrupter oder irreführender Daten in das Trainingsmaterial eines KI-Modells. Das Ziel reicht von „die Leistung verschlechtern“ über „bestimmte Fehler erzwingen“ bis zu „ein verstecktes Verhalten einbauen, das später auf Kommando erwacht“. Betroffen ist alles, woraus ein Modell lernt: die riesigen Textmengen des Vortrainings, das spätere Feintuning, sogar die Wissensquellen, die ein laufendes System zur Laufzeit anzapft.

Wie das Gift in den Topf kommt

Es gibt nicht den einen Weg, sondern eine ganze Speisekarte.

Manche Angriffe wollen einfach verderben. Man kippt so viel Schlechtes in die Vorräte, dass das ganze Modell unzuverlässig wird, ein wenig wie eine Prise Salz, die zur Handvoll wird und jedes Gericht ungenießbar macht. Auffällig, aber wirksam.

Die eleganteren Angriffe arbeiten leiser. Bei der sogenannten Hintertür lernt das Modell eine geheime Verknüpfung: Solange alles normal läuft, verhält es sich einwandfrei. Erst wenn ein bestimmtes Stichwort auftaucht, ein unscheinbarer Auslöser, kippt das Verhalten. Stellen Sie sich ein Gericht vor, das jahrelang vorzüglich schmeckt und nur dann sein wahres Gesicht zeigt, wenn ein einziges, seltenes Gewürz dazukommt. Niemand würde auf die Idee kommen, danach zu suchen. Forschende haben genau das an Code-Assistenten vorgeführt: Mit vergiftetem Trainingsmaterial schreibt ein solcher Helfer sauberen, brauchbaren Code, baut aber heimlich eine Sicherheitslücke ein, sobald ein bestimmter Auslöser im Auftrag steckt. Der Entwickler merkt nichts. Die Lücke schon.

Am hinterhältigsten ist die saubere Variante. Hier sieht die vergiftete Zutat aus wie jede andere. Die Etiketten stimmen, nichts wirkt verdächtig, und trotzdem ist der Stoff darunter ein anderer. Eine Kontrolle, die nur auf die Beschriftung schaut, winkt ihn durch.

Das amerikanische Normungsinstitut NIST hat diese Spielarten in einer eigenen Systematik für Angriffe auf maschinelles Lernen geordnet, nach Zeitpunkt, Ziel und den Möglichkeiten des Angreifers. Der gemeinsame Nenner aller Varianten: Sie zielen nicht auf das fertige Gericht, sondern auf die Speisekammer.

Wie wenig genügt

Jetzt kommt der Teil, der wehtut.

Lange galt als ausgemacht, dass ein Angreifer einen nennenswerten Anteil der Trainingsdaten kontrollieren müsste, um ein großes Modell zu kippen. Bei Milliarden von Texten klang das beruhigend. Wer sollte so viel einschleusen?

Im Oktober 2025 räumte eine Untersuchung mit dieser Annahme auf. Gemeinsam mit dem britischen AI Security Institute und dem Alan Turing Institute zeigte das Team hinter dieser Studie, dass bereits rund 250 präparierte Dokumente reichen, um einem Sprachmodell eine Hintertür einzupflanzen. Und zwar unabhängig von seiner Größe. Ein Modell mit dreizehn Milliarden Parametern, trainiert auf dem Zwanzigfachen an Daten, ließ sich mit derselben winzigen Handvoll Dokumente kompromittieren wie ein viel kleineres. 250 Dokumente, das waren in diesem Aufbau ungefähr 0,00016 Prozent des gesamten Materials. Eine Prise im Ozean.

Ehrlichkeitshalber gehört dazu: Die getestete Hintertür war harmlos. Sie brachte das Modell lediglich dazu, bei einem geheimen Auslöser Kauderwelsch auszugeben. Ob sich auf demselben Weg auch gefährlichere Manipulationen einschleusen lassen, ist damit nicht bewiesen, und frühere Arbeiten deuten an, dass komplexere Angriffe deutlich schwerer sind. Die eigentliche Botschaft liegt nicht im Schaden, sondern in der Menge. Der Aufwand wächst nicht mit dem Modell. Das ändert die Rechnung.

Wie unsichtbar so etwas sein kann, zeigte eine Studie in der Fachzeitschrift Nature Medicine Anfang 2025. Tauschte man nur 0,001 Prozent der Trainingsdaten gegen medizinische Falschinformationen, gaben die Modelle danach häufiger fehlerhafte medizinische Auskünfte. Das Tückische: In allen üblichen Tests schnitten die vergifteten Modelle genauso gut ab wie die sauberen. Fachleute konnten die manipulierten Antworten nicht von den korrekten unterscheiden. Das Gericht hatte jede Verkostung bestanden. Und war trotzdem verdorben.

Der offene Markt

Wie kommt ein Fremder überhaupt an die Vorräte eines Modells? Die unbequeme Antwort: Er muss gar nicht einbrechen. Er liefert einfach an.

Große Modelle lernen aus dem offenen Netz. Sie sammeln ihre Zutaten auf einem riesigen Markt, auf dem jeder seine Ware auslegen darf. Der Sicherheitsforscher Nicholas Carlini und seine Kollegen haben vorgeführt, wie praktisch sich das ausnutzen lässt. Für rund sechzig Dollar konnten sie einen kleinen Teil bekannter Trainingsdatensätze gezielt manipulieren, indem sie sich abgelaufene Webadressen schnappten oder Inhalte genau zwischen dem Zeitpunkt veränderten, an dem ein Datensatz erfasst und an dem er heruntergeladen wurde. Das Vertrauen, auf dem das ganze Sammeln beruht, erwies sich als brüchig.

Der älteste prominente Fall war noch grober. 2016 schickte Microsoft einen lernfähigen Chatbot namens Tay auf eine Social-Media-Plattform. Er sollte aus den Gesprächen mit Nutzern lernen. Trolle taten sich zusammen und fütterten ihn gezielt mit Hetze. Keine sechzehn Stunden später spuckte Tay so widerwärtige Sätze aus, dass Microsoft ihn vom Netz nahm. Ein plumper Angriff, gewiss. Aber das Prinzip war schon damals dasselbe: Wer entscheidet, woraus eine Maschine lernt, entscheidet, was sie wird.

Spannend wird es, wenn die Vergiftung die Seite wechselt. Forschende der Universität Chicago entwickelten ein Werkzeug namens Nightshade, mit dem Kunstschaffende ihre Bilder mit unsichtbaren Störungen versehen können. Wird ein solches Bild ungefragt zum Training abgegriffen, bringt es das Modell durcheinander. Hier ist das Gift kein Angriff, sondern ein Schutzschild gegen das ungefragte Abernten fremder Werke. Dasselbe Prinzip, andere Absicht.

Wissen Sie eigentlich, woher die Daten stammen, aus denen Ihre KI gelernt hat?

Warum man das Brot nicht zurückbacken kann

Hier liegt der Punkt, den viele übersehen.

Einen klassischen Softwarefehler kann man finden und herausschneiden. Vergiftete Daten sind anders. Sobald das Modell aus ihnen gelernt hat, steckt die Manipulation nicht mehr in einer Datei, sondern verteilt in Millionen winziger Gewichtungen. Man kann ein gebackenes Brot nicht zurück in Mehl und Wasser verwandeln. Die schlechte Zutat ist jetzt überall und nirgends.

Und doch ist die Lage nicht hoffnungslos. Im Gegenteil: Beim Data Poisoning haben die Verteidiger sogar einen seltenen Vorteil. Anders als ein Gast, der schon gegessen hat, kann eine sorgfältige Küche ihre Vorräte vorher prüfen und das fertige Gericht hinterher noch einmal kritisch verkosten. Daten lassen sich kontrollieren. Modelle lassen sich nachträglich untersuchen. Bei den meisten Angriffen ist der Angreifer im Vorteil, weil er nur eine Lücke finden muss. Hier ist es umgekehrt: Wer seine Zutaten und sein fertiges Gericht systematisch prüft, zwingt den Angreifer, an jeder einzelnen Stelle unentdeckt zu bleiben. Wer weiß, dass der Angriff existiert, ist ihm nicht hilflos ausgeliefert.

Was wirklich hilft

Drei Gewohnheiten machen den Unterschied, und keine davon ist Zauberei.

Erstens: die Herkunft kennen. Ein guter Koch weiß, von welchem Hof sein Gemüse kommt. Übertragen heißt das, die Quellen der Trainingsdaten nachzuverfolgen und zu dokumentieren, statt blind vom offenen Markt zu kaufen. Fachleute sprechen von der Herkunft und Nachverfolgbarkeit der Daten.

Zweitens: die Zutaten prüfen, bevor sie in den Topf wandern. Trainingsdaten lassen sich auf Ausreißer, Dubletten und auffällige Muster durchsuchen. Das fängt nicht jedes raffinierte Gift, aber es hebt die Hürde für den Angreifer spürbar an.

Drittens: misstrauisch verkosten. Ein Modell sollte nach dem Training nicht nur auf Leistung getestet werden, sondern gezielt darauf, ob es auf verdächtige Auslöser seltsam reagiert. Wer aktiv nach Hintertüren sucht, statt nur die Durchschnittsnote zu bewundern, findet manches, was im normalen Betrieb verborgen bliebe. Für den grundsätzlichen Rahmen liefert auch das Bundesamt für Sicherheit in der Informationstechnik Empfehlungen, und wer die Funktionsweise vertiefen will, findet bei IBM eine verständliche Einordnung.

Keine dieser Maßnahmen macht eine Küche unangreifbar. Zusammen sorgen sie dafür, dass kaum etwas Verdorbenes unbemerkt durch die Tür kommt.

Der eigentliche Gedanke

Eine KI ist nur so gut wie das, woraus sie gemacht ist. Wir reden viel über die Klugheit der Modelle und selten über ihre Ernährung. Dabei entscheidet sich genau dort, ob am Ende Nahrhaftes oder Verdorbenes auf dem Teller liegt.

Das Beunruhigende an Data Poisoning ist nicht, dass es ein lauter Angriff wäre. Es ist das Gegenteil. Es ist leise, geduldig und längst geschehen, wenn der erste Gast sich an den Tisch setzt.

Welche Zutat in Ihrer KI haben Sie eigentlich nie selbst geprüft?