Ein Mensch beantragt einen Kredit. Drei Sekunden später steht das Urteil auf dem Bildschirm: abgelehnt. Er fragt, warum. Die Antwort ist Schweigen.

Irgendwo im Inneren eines Algorithmus ist die Entscheidung gefallen. Aber niemand im Raum kann sagen, was den Ausschlag gab. War es das Einkommen? Das Alter des Kontos? Die Postleitzahl?

Kennen Sie dieses Gefühl?

Maschinen treffen heute Entscheidungen über Geld, Gesundheit und Lebenswege. Und je treffsicherer ihre Modelle werden, desto verschlossener werden sie. Ein modernes Vorhersagemodell ist kein Schalter mit zwei Drähten. Es ist ein Dickicht aus Tausenden von Verknüpfungen, das selbst die Menschen, die es gebaut haben, nicht mehr im Kopf nachrechnen können.

Genau in diese Lücke tritt SHAP.

SHAP zeigt, welche Faktoren eine KI-Entscheidung beeinflusst haben und wie stark ihr jeweiliger Beitrag war.

Was hinter dem Begriff steckt

SHAP steht für SHapley Additive exPlanations. Es ist eine Methode, um die Vorhersage eines Modells für maschinelles Lernen erklärbar zu machen, also die Frage zu beantworten: Warum hat dieses Modell für genau diesen Fall genau dieses Ergebnis ausgespuckt?

Vorgestellt wurde SHAP 2017 von Scott Lundberg und Su-In Lee an der University of Washington, in einer Arbeit mit dem Titel „A Unified Approach to Interpreting Model Predictions“. Der Clou: Die beiden zeigten, dass sich eine ganze Familie zuvor konkurrierender Erklärungsverfahren unter einem Dach vereinen lässt. Sechs ältere Methoden, darunter das bekannte LIME, entpuppten sich als Sonderfälle desselben mathematischen Prinzips.

Und dieses Prinzip ist älter als jeder Computer, der heute Kreditanträge prüft.

Es kommt aus der Spieltheorie. 1953 beschrieb der Mathematiker Lloyd Shapley, später Wirtschaftsnobelpreisträger, wie sich der gemeinsame Gewinn einer Gruppe fair auf ihre Mitglieder verteilen lässt. Nicht nach Bauchgefühl. Nach einer Formel, die jedem genau den Anteil zuspricht, den er wirklich beigetragen hat.

Lundberg und Lee taten etwas Naheliegendes und doch Kühnes: Sie übersetzten diese Idee aus der Ökonomie in die Welt der Vorhersagemodelle. Aus den Spielern wurden die Merkmale, mit denen ein Modell rechnet. Aus dem Gewinn wurde die Vorhersage. Und aus der fairen Verteilung wurde eine Erklärung.

Die Küche, in der sich alles entscheidet

Theorie ermüdet. Bilder bleiben. Also stellen Sie sich eine Küche vor.

Auf dem Tisch steht ein Eintopf, den alle loben. Sie wollen wissen: Welche Zutat hat ihn so gut gemacht? Die naheliegende Antwort wäre, mit dem Finger auf das Salz zu zeigen. Aber das greift zu kurz.

Denn Salz allein schmeckt nach nichts. Salz mit Tomate ist schon etwas. Salz mit Tomate und Basilikum ist wieder etwas anderes. Der Beitrag einer einzelnen Zutat hängt davon ab, was sonst noch im Topf ist.

Ein wirklich gerechter Koch ginge deshalb obsessiv vor. Er würde den Eintopf in jeder denkbaren Reihenfolge nachkochen: erst nur Wasser, dann eine Zutat dazu, dann die nächste, in allen möglichen Abfolgen. Und jedes Mal, wenn das Salz in den Topf wandert, notiert er, wie viel besser es in genau diesem Moment wurde.

Am Ende mittelt er all diese kleinen Momente der Verbesserung. Dieser Durchschnitt ist der faire Anteil des Salzes am Lob der Gäste.

Das, fast wörtlich, ist ein Shapley-Wert.

Übersetzt auf das Modell: Die Zutaten sind die Merkmale, also Einkommen, Kontoalter, Wohnort. Der fertige Eintopf ist die Vorhersage. Und SHAP berechnet, wie viel jedes einzelne Merkmal zur konkreten Entscheidung beigetragen hat: nicht im Durchschnitt aller Fälle, sondern für genau diesen einen Antrag, der gerade abgelehnt wurde.

Ein positiver SHAP-Wert schiebt die Vorhersage nach oben. Ein negativer zieht sie nach unten. Und der Ausgangspunkt, von dem aus gemessen wird, ist der fade Durchschnitt: das Ergebnis, das das Modell ausgeben würde, wenn es über diesen Fall gar nichts Besonderes wüsste.

Warum die Mathematik dahinter mehr ist als Buchhaltung

Man könnte einwenden: Schön und gut, aber warum dieser ganze spieltheoretische Aufwand? Reicht nicht ein grobes Gefühl dafür, welches Merkmal wichtig ist?

Nein. Und das ist der Punkt, an dem SHAP sich von vagen Faustregeln abhebt.

Der Shapley-Wert ist nicht irgendeine plausible Verteilung. Er ist die einzige, die drei Eigenschaften gleichzeitig erfüllt, die man von einer ehrlichen Erklärung erwarten darf:

• Lokale Genauigkeit. Die Beiträge aller Zutaten ergeben in Summe genau den fertigen Eintopf. Addiert man den Ausgangsdurchschnitt und sämtliche SHAP-Werte, kommt exakt die Vorhersage heraus. Nichts verschwindet, nichts wird erfunden. Das ist das „Additive“ im Namen.
• Fehlen. Eine Zutat, die gar nicht im Topf ist, bekommt auch kein Lob. Wer nicht mitspielt, erhält den Beitrag null.
• Konsistenz. Wird ein Modell so verändert, dass ein Merkmal wichtiger wird, darf sein zugewiesener Beitrag niemals schrumpfen. Klingt selbstverständlich. War es bei früheren Verfahren aber nicht, und mehrere ältere Methoden scheiterten ausgerechnet an dieser Hürde.

Diese drei Bedingungen lassen mathematisch nur eine einzige Lösung zu. Das ist die seltene Eleganz hinter SHAP: keine willkürliche Erfindung, sondern eine zwingende Folge dessen, was man unter „fair“ überhaupt verstehen will.

Drei Wege, denselben Berg zu besteigen

Es gibt allerdings einen Haken, und er ist groß.

Erinnern Sie sich an den obsessiven Koch, der den Eintopf in jeder möglichen Reihenfolge nachkocht? Bei einer Handvoll Zutaten ist das machbar. Bei zwanzig, fünfzig, hundert Merkmalen wächst die Zahl der Kombinationen ins Astronomische. Eine exakte Berechnung würde länger dauern als das Geschäftsmodell, das sie erklären soll.

Deshalb gibt es nicht ein SHAP, sondern mehrere Wege, sich dem Ziel zu nähern, ohne jede Kombination tatsächlich durchzuprobieren.

TreeSHAP ist der schnelle Spezialist. Für baumbasierte Modelle wie Entscheidungsbäume, Random Forests oder Gradient Boosting nutzt er die innere Struktur dieser Bäume aus und berechnet die Werte exakt und rasend schnell. Wer in der Praxis mit Tabellendaten arbeitet, landet meist hier. Die Methode wurde 2020 in einer vielzitierten Arbeit in Nature Machine Intelligence sauber ausgearbeitet.

DeepSHAP ist auf neuronale Netze zugeschnitten, also auf jene Modelle, die Bilder erkennen oder Sprache verarbeiten.

KernelSHAP schließlich ist der Allrounder. Er macht keine Annahmen über das Innenleben des Modells und funktioniert deshalb mit fast allem, von der einfachen Regression bis zur Blackbox. Sein Preis: Er schätzt die Werte und braucht dafür spürbar mehr Rechenzeit.

Ein Werkzeug, drei Klingen, je nach Material.

Vom Einzelfall zum großen Bild

Bis hierhin ging es um die lokale Erklärung: warum dieser eine Antrag, dieser eine Patient, diese eine Transaktion so bewertet wurde. Das ist die eigentliche Stärke von SHAP, und es ist genau das, was ein Mensch hören will, der vor einer Maschine sitzt und ein „Warum“ verlangt.

Doch es gibt einen zweiten, leiseren Vorteil. Sammelt man die SHAP-Werte über Tausende von Einzelfällen und legt sie übereinander, entsteht ein globales Bild: Welche Merkmale prägen das Verhalten des Modells im Großen? Wo zieht es konsequent in eine Richtung?

So wird aus vielen kleinen Erklärungen ein Gesamtporträt, ohne dass beide einander widersprechen. Die Einzelfälle sind die Bausteine, das große Bild ist ihre Summe.

Sichtbar wird das in den Diagrammen, die das frei verfügbare SHAP-Paket für Python mitbringt. Ein Wasserfall-Diagramm zeigt für einen einzelnen Fall, wie jedes Merkmal die Vorhersage Schritt für Schritt vom Durchschnitt wegschiebt. Ein Beeswarm-Diagramm verdichtet den ganzen Datensatz zu einem dichten Schwarm aus Punkten und macht auf einen Blick erkennbar, welche Merkmale am stärksten ziehen und in welche Richtung. Ein Force-Diagramm stellt das Tauziehen der Kräfte für einen Fall als bunten Balken dar.

Es sind diese Bilder, die SHAP aus dem akademischen Aufsatz in den Alltag von Datenteams getragen haben. Denn eine Tabelle voller Zahlen überzeugt selten. Ein Diagramm, das die Geschichte hinter einer Entscheidung erzählt, schon.

Wo die Methode an ihre Grenzen kommt

Ehrlichkeit gehört dazu, auch beim Loben.

SHAP erklärt, was ein Modell tut, nicht, was wahr ist. Stützt sich ein Modell auf ein fragwürdiges Merkmal, dann zeigt SHAP brav, wie stark dieses Merkmal wirkt, aber es sagt Ihnen nicht, dass es dort nichts zu suchen hat. Das bleibt Ihre Aufgabe.

Dazu kommt: SHAP misst Beiträge, keine Ursachen. Dass ein Merkmal eine Vorhersage nach oben treibt, heißt nicht, dass es sie verursacht. Wer beide verwechselt, baut Schlüsse auf Sand. Und bei stark verflochtenen Merkmalen, die sich gegenseitig die Beiträge gleichsam wegerklären, wird auch die fairste Aufteilung knifflig zu deuten.

Ein Werkzeug schärft den Blick. Sehen müssen Sie selbst.

Warum das mehr ist als ein technisches Detail

Treffsicherheit war lange das einzige Maß, an dem ein Modell gemessen wurde. Wie oft liegt es richtig? Eine gute Frage. Aber nicht die einzige.

Denn ein Modell, das niemand erklären kann, ist kein Werkzeug. Es ist ein Orakel. Und wer Entscheidungen über Menschen an ein Orakel delegiert, verschenkt etwas, das sich nicht zurückkaufen lässt: Verantwortung.

In der Medizin, bei Krediten, in der Personalauswahl reicht das richtige Ergebnis nicht. Es braucht das nachvollziehbare. Regulierer fragen längst nicht mehr nur, ob eine Maschine gut entscheidet, sondern ob sich erklären lässt, wie. SHAP ist eine der ausgereiftesten Antworten auf diese Frage.

Welche Entscheidung in Ihrem Umfeld trifft gerade eine Maschine, ohne dass jemand das Warum benennen könnte?

Vertrauen entsteht nicht durch Treffsicherheit allein. Es entsteht, wenn jemand das Schweigen des Algorithmus durchbricht und sagen kann: Hier, deshalb. SHAP gibt dem Eintopf seine Zutaten zurück. Und dem Menschen, der vor der Maschine sitzt, eine Antwort, die er weitertragen kann.