Ein Koch stellt Ihnen einen Teller hin. Das Gericht ist hervorragend. Sie schmecken etwas Rauchiges, eine Süße im Hintergrund, eine Säure, die alles zusammenhält.

Sie fragen: „Was ist da drin?“

Er lächelt. Und schweigt.

So gut das Essen auch ist: In diesem Moment haben Sie ein Problem. Sie wissen nicht, ob eine Zutat dabei ist, auf die Sie allergisch reagieren. Sie können das Gericht zu Hause nicht nachkochen. Und wenn morgen jemand am Tisch krank wird, können Sie niemandem sagen, woran es lag.

Nicht das Essen ist das Problem.

Das Schweigen ist es.

Explainable AI macht sichtbar, welche Faktoren in einer KI-Entscheidung stecken und warum ein Ergebnis entsteht.

Die schweigende Küche der künstlichen Intelligenz

Dieses Schweigen ist der Normalzustand moderner KI. Ein neuronales Netz oder ein komplexes Modell aus hunderten Entscheidungsbäumen liefert ein Ergebnis: Kredit abgelehnt. Tumor wahrscheinlich. Bewerber aussortiert. Das Ergebnis ist oft erstaunlich treffsicher. Aber warum es so ausfällt, bleibt im Verborgenen. Fachleute nennen solche Systeme Black Box: vorne kommt etwas hinein, hinten kommt eine Antwort heraus, und dazwischen liegt ein Dickicht aus Millionen von Rechenschritten, das kein Mensch mehr Schritt für Schritt nachvollzieht.

Genau hier setzt Explainable AI an, kurz XAI, auf Deutsch erklärbare künstliche Intelligenz.

XAI ist kein einzelnes Werkzeug. Es ist ein Bündel von Methoden und Verfahren, die sichtbar machen, warum ein KI-System zu seinem Ergebnis kommt: welche Faktoren den Ausschlag gaben, wie stark sie wogen, ob die Begründung trägt. Das Ziel beschreibt der Technologiekonzern IBM nüchtern: Menschen sollen die Ergebnisse von Maschinen verstehen und ihnen vertrauen können, statt sie blind zu schlucken.

Der Begriff selbst ist nicht neu. Populär wurde er durch ein Forschungsprogramm der US-Behörde DARPA, das 2017 startete und gezielt Verfahren entwickeln ließ, mit denen Maschinen ihre Entscheidungen für Menschen nachvollziehbar machen. Wer die Geschichte und die Grenzen dieses Programms nachlesen möchte, findet bei den Programmverantwortlichen eine ehrliche Rückschau auf vier Jahre XAI-Forschung.

Zurück an den Tisch. Würden Sie ein Gericht essen, dessen Zutaten niemand benennen kann?

Die meisten von uns würden zögern. Bei einem Teller Essen. Bei der Frage, ob jemand einen Kredit, eine Therapie oder eine Stelle bekommt, schlucken wir das Schweigen erstaunlich oft.

Warum das Rezept zählt, nicht nur der Geschmack

Ein Modell kann zu 95 Prozent richtig liegen und trotzdem gefährlich sein. Denn die Frage ist nicht nur, ob es trifft, sondern woran es sich festhält.

Ein bekanntes Beispiel aus der Praxis: Ein Bilderkennungssystem unterschied Wölfe von Huskys mit hoher Treffsicherheit. Bis jemand genauer hinsah. Das Modell hatte nicht gelernt, wie ein Wolf aussieht. Es hatte gelernt, dass auf Wolfsbildern oft Schnee liegt. Es erkannte den Hintergrund, nicht das Tier.

Im Restaurant würde man sagen: Das Gericht schmeckt nur deshalb gut, weil zufällig immer dasselbe Salz auf demselben Tisch stand. Nimmt man den Tisch weg, fällt alles zusammen.

Solche stillen Fehlannahmen bleiben unsichtbar, solange die Küche schweigt. Erklärbarkeit ist das Licht, das man anmacht, um sie zu sehen. Sie hilft, drei Dinge zu tun, die sonst unmöglich sind: Vertrauen aufbauen, Fehler finden, Verantwortung übernehmen. Ein Arzt, der einer KI-Diagnose folgt, muss wissen, worauf sie beruht. Eine Bank, die einen Kredit ablehnt, muss erklären können, warum. Ein Team, das ein Modell verbessern will, muss sehen, wo es danebengreift.

Das ganze Menü oder dieser eine Teller

Erklärungen lassen sich grob in zwei Richtungen denken. Die Unterscheidung klingt technisch, ist aber im Kern simpel.

Eine globale Erklärung beschreibt die Handschrift der ganzen Küche. Worauf achtet das Modell grundsätzlich? Welche Zutaten sind ihm wichtig, über tausende Gerichte hinweg? Das ist der Blick auf die Speisekarte.

Eine lokale Erklärung betrifft genau diesen einen Teller. Warum wurde dieser Kredit abgelehnt, dieser Bewerber aussortiert? Eine brauchbare lokale Erklärung sagt nicht nur „abgelehnt“, sondern: Das Verhältnis von Schulden zu Einkommen drückte am stärksten, die kurze Beschäftigungsdauer kam hinzu, die saubere Kredithistorie wirkte dagegen, reichte aber nicht. Erst damit lässt sich prüfen, ob die Entscheidung fair war oder ob sich das Modell an etwas festhielt, das es nichts angeht. Hier zählt nicht das allgemeine Muster, sondern der einzelne Fall. Und meistens ist es genau dieser einzelne Fall, der für einen Menschen über etwas Wichtiges entscheidet.

Gute XAI braucht beides. Die Speisekarte verrät die Linie des Hauses. Der einzelne Teller verrät, ob in diesem Moment etwas schiefgelaufen ist.

Wie man dem Modell die Zutaten entlockt

Wenn der Koch schweigt, gibt es zwei Wege, an das Rezept zu kommen.

Der erste: Man kostet rückwärts. Man verändert gezielt einzelne Zutaten, lässt mal das Salz weg, mal die Säure, und beobachtet, wie sich der Geschmack ändert. So rekonstruiert man, was wirklich zählte. Fachleute nennen das post-hoc: Erklärungen, die man einem fertigen Modell nachträglich abringt. Drei Verfahren prägen dieses Feld:

• SHAP (SHapley Additive exPlanations) leiht sich seine Idee aus der Spieltheorie. Jede Zutat wird als Mitspieler behandelt, das Ergebnis als gemeinsame Beute. SHAP rechnet aus, welchen Anteil jeder einzelne Faktor an der Entscheidung trägt, und liefert sowohl den globalen als auch den lokalen Blick.
• LIME (Local Interpretable Model-agnostic Explanations) geht anders vor. Es baut rund um eine einzelne Entscheidung ein kleines, einfaches Modell, das sich in genau diesem Ausschnitt wie das große verhält, aber lesbar ist. Eine Lupe für einen einzigen Teller.
• Grad-CAM arbeitet vor allem bei Bildern. Es färbt die Regionen ein, die für die Entscheidung den Ausschlag gaben, und macht so sichtbar, wohin das Modell tatsächlich geschaut hat. Beim Wolf wäre der Schnee aufgeleuchtet, nicht das Fell.

Wer tiefer in die gängigen Verfahren einsteigen will, findet bei spezialisierten Anbietern gute praxisnahe Übersichten zu XAI-Methoden.

Der zweite Weg ist grundsätzlicher: Man stellt einen Koch ein, der das Rezept mitschreibt, während er kocht. In der Fachsprache heißt das interpretierbar by design. Statt eine Black Box im Nachhinein zu befragen, baut man Systeme, die von Anfang an offenlegen, wie sie zu ihrem Urteil kommen. Das ist oft die ehrlichere Lösung. Sie kostet nur mehr Mühe, und manchmal ein paar Prozentpunkte Treffsicherheit, die man dafür gegen Nachvollziehbarkeit eintauscht.

Der teuerste Irrtum: Eine Erklärung ist nicht die Wahrheit

Und hier liegt der Punkt, den viele übersehen.

Eine plausible Erklärung ist nicht automatisch eine richtige.

Verfahren wie SHAP und LIME schätzen, sie messen nicht. Sie nähern sich der inneren Logik des Modells von außen an, so wie man ein Rezept durch Probieren errät. Manchmal liegen sie daneben. Manchmal widersprechen sich zwei Methoden beim selben Gericht. Und schlimmer noch: Eine Erklärung beschreibt treu, was das Modell gelernt hat, auch wenn das Modell etwas Falsches gelernt hat. Hat es sich am Schnee festgehalten, wird die Erklärung Ihnen den Schnee zeigen, ruhig und überzeugend, als wäre er die ganze Wahrheit.

Das ist die Falle. Eine schön gerenderte Grafik mit bunten Balken fühlt sich an wie Verstehen. Sie kann aber nur so klug sein wie das Modell, das sie erklärt, und so ehrlich wie der Mensch, der sie liest.

Erklärbarkeit ist also kein Knopf, den man drückt, um sich abzusichern. Sie ist eine Einladung zum Hinschauen, nicht ihr Ersatz. Wer sie als Feigenblatt benutzt, hat das Werkzeug verwechselt mit dem Handwerk.

Wenn der Gesetzgeber an den Tisch tritt

Lange war Erklärbarkeit eine Frage des guten Stils. Inzwischen ist sie eine Frage des Rechts.

Die europäische KI-Verordnung, der EU AI Act (Verordnung (EU) 2024/1689), verlangt für sogenannte Hochrisiko-Systeme ausreichende Durchschaubarkeit. Genau genommen spricht das Gesetz nicht von „Erklärbarkeit“, sondern von Transparenz: Hochrisiko-KI muss so gestaltet sein, dass die Betreiber ihre Ergebnisse angemessen interpretieren und einordnen können (Artikel 13). XAI ist das technische Mittel, um diese Forderung überhaupt einlösen zu können.

Hochrisiko, das meint die Felder, in denen eine Fehlentscheidung Menschen ernsthaft trifft: Kreditvergabe, Medizin, Personalauswahl, Strafverfolgung, kritische Infrastruktur. Dort reicht es nicht mehr, mit den Schultern zu zucken und zu sagen: „Der Algorithmus hat das so entschieden.“ Auch die Datenschutz-Grundverordnung zielt in dieselbe Richtung. Ihr Artikel 22 regelt automatisierte Entscheidungen und steht hinter dem viel zitierten „Recht auf Erklärung“, über dessen genaue Reichweite Juristen bis heute streiten.

Eine Einschränkung gehört zur Ehrlichkeit dazu: Der Zeitplan für die Hochrisiko-Pflichten ist gestaffelt und wurde zuletzt nach hinten verschoben. Die Richtung aber steht fest. Der Gesetzgeber hat sich an den Tisch gesetzt und fragt, was im Essen ist. Wer dann schweigt, hat ein Problem.

Was bleibt

Stellen Sie sich noch einmal die beiden Köche vor.

Der eine kocht brillant und schweigt. Sein Essen begeistert, bis zu dem Tag, an dem etwas schiefgeht und niemand sagen kann, warum.

Der andere kocht vielleicht eine Spur weniger spektakulär, aber er reicht Ihnen das Rezept mit dem Teller. Sie können prüfen, nachfragen, widersprechen. Sie können vertrauen, weil Sie nicht vertrauen müssen.

In einer Welt, in der Maschinen immer mehr Entscheidungen über Menschen treffen, ist die zweite Küche keine nette Geste. Sie ist die Voraussetzung dafür, dass wir die Kontrolle behalten, statt sie an etwas abzugeben, das uns keine Rechenschaft schuldet.

Welche Entscheidung in Ihrem Haus trifft gerade ein System, dessen Begründung Sie noch nie verlangt haben?

Vielleicht ist es Zeit, einmal in die Küche zu gehen und zu fragen, was da eigentlich drin ist.

Denn eine Maschine, die ihre Antwort nicht begründen kann, ist nicht klug.

Sie ist nur selbstsicher.