Sechs Fotos. Auf fünf davon erkennt das Programm das Tier korrekt: Wolf oder Husky. Nur bei einem irrt es. Ein Husky wird zum Wolf erklärt.

Ein Fehler unter sechs. Klingt nach einem ordentlichen Modell.

Dann schauten die Forscher genauer hin. Sie stellten eine simple Frage: Worauf achtet die Maschine eigentlich, wenn sie „Wolf“ sagt? Die Antwort war ernüchternd. Nicht auf die Schnauze. Nicht auf die Augen. Nicht auf das Fell.

Auf den Schnee.

Das Modell hatte nie gelernt, einen Wolf zu erkennen. Es hatte gelernt, weißen Hintergrund zu erkennen. In den Trainingsbildern lag hinter jedem Wolf Schnee, hinter keinem Husky. Also zog die Maschine den naheliegenden Schluss: weiß im Hintergrund, demnach Wolf. Bei guter Trefferquote. Mit voller Überzeugung. Und vollständig aus dem falschen Grund.

Mit dieser Geschichte wurde eine der bekanntesten Methoden der erklärbaren KI berühmt. Ihr Name ist sperrig: Local Interpretable Model-agnostic Explanations. Kurz: LIME.

LIME zeigt, welche Merkmale eine einzelne KI-Entscheidung beeinflusst haben und macht Blackbox-Ergebnisse besser nachvollziehbar.

Woher LIME kommt

Vorgestellt wurde die Methode 2016 von drei Forschern der University of Washington, Marco Tulio Ribeiro, Sameer Singh und Carlos Guestrin. Der Titel ihres Papers war eine entwaffnend einfache Frage: „Why Should I Trust You?“ Warum sollte ich dir glauben?

Genau darum geht es. Moderne KI-Systeme, neuronale Netze, große Sprachmodelle, Bildklassifizierer, sind Blackboxes. Vorne geht etwas hinein, hinten kommt eine Entscheidung heraus. Was dazwischen geschieht, sieht niemand. Auch die Menschen nicht, die das System gebaut haben. Die Vorhersage ist da. Die Begründung fehlt.

Solange alles gut läuft, fällt das nicht auf. Heikel wird es, sobald eine Maschine über einen Kredit entscheidet, über eine Diagnose, über die Auswahl eines Bewerbers. Dann genügt es nicht mehr, dass die Antwort meistens stimmt. Dann will jemand wissen: warum diese und keine andere?

Wie LIME arbeitet

LIME öffnet die Blackbox nicht. Sie tut etwas Klügeres.

Stellen Sie sich vor, jemand setzt Ihnen einen fremden Eintopf vor. Köstlich. Nur haben Sie keine Ahnung, was darin steckt. Das Rezept bleibt geheim. Wie finden Sie heraus, was den Geschmack trägt?

Sie probieren. Dann kosten Sie eine Variante ohne Salz. Eine ohne Knoblauch. Eine ohne das eine Kraut, das Sie nicht zuordnen können. Mit jedem Weglassen merken Sie etwas: Hier bricht der ganze Geschmack zusammen, dort ändert sich kaum etwas. Nach ein paar Durchgängen wissen Sie, worauf es ankommt. Ohne je das Rezept gesehen zu haben.

Genau das tut LIME.

Die Methode greift sich eine einzelne Entscheidung des Modells heraus. Eine einzige. Dann erzeugt sie viele leicht abgewandelte Versionen der Eingabe. Bei einem Text fallen einzelne Wörter weg. Bei einem Bild werden Bereiche abgedeckt. Bei einer Tabelle verschieben sich Werte. Jede dieser Varianten schickt LIME zurück an das Modell und notiert genau, wie sich die Vorhersage dabei verändert.

Aus diesen Beobachtungen baut sie ein zweites, viel einfacheres Modell. Meist eine schlichte lineare Funktion, die ein Mensch lesen kann. Dieses Ersatzmodell, im Fachjargon das Surrogat, muss nicht das gewaltige Original nachbilden. Es muss nur in der unmittelbaren Nachbarschaft dieser einen Entscheidung stimmen. Varianten, die der ursprünglichen Eingabe nah bleiben, wiegen dabei schwerer. Weit entfernte zählen weniger.

Am Ende steht eine kurze, lesbare Liste: Diese Zutaten haben die Entscheidung getragen. Jene waren Beilage.

Ein Beispiel aus der Praxis macht das greifbar. Ein Modell soll Kundenbewertungen als positiv oder negativ einsortieren. Es liest „Die Lieferung war schnell, das Produkt eine Enttäuschung“ und urteilt: negativ. Warum? LIME lässt nun einzelne Wörter verschwinden und beobachtet die Reaktion. Fällt „Enttäuschung“ weg, kippt das Urteil ins Positive. Fällt „schnell“ weg, ändert sich fast nichts. Das Ergebnis erscheint am Bildschirm oft als eingefärbter Text: Wörter, die für die Entscheidung sprachen, leuchten in der einen Farbe, die dagegen sprachen in der anderen. Aus einer nackten Vorhersage wird eine Begründung, die man mit dem eigenen Sprachgefühl abgleichen kann.

Und damit erklärt sich auch der sperrige Name Stück für Stück:

• Local: Die Erklärung gilt nur für diesen einen Fall, nicht für das Modell als Ganzes. Was hier den Ausschlag gab, kann beim nächsten Bild völlig anders aussehen.
• Interpretable: Das Ersatzmodell ist einfach genug, dass ein Mensch es ohne Doktortitel versteht.
• Model-agnostic: Es ist gleichgültig, was in der Blackbox steckt. LIME schaut nur auf das, was hinein- und was herausgeht. Neuronales Netz, Entscheidungsbaum, Sprachmodell: alles dieselbe Behandlung.

Zurück zum Wolf

Beim falsch erkannten Bild markierte LIME exakt die Bildbereiche, die zur Entscheidung beigetragen hatten. Es waren nicht die am Tier. Es war der Schnee ringsum. Plötzlich war der Fehler sichtbar. Nicht als Zahl in einer Statistik, sondern als Bild, das jeder sofort begreift.

Ein Detail macht die Sache noch lehrreicher: Die Forscher hatten dieses schlechte Modell mit voller Absicht gebaut. Sie wollten prüfen, ob Menschen den Schwindel durchschauen, wenn man ihnen die Erklärung vorlegt. Das Ergebnis war deutlich. Ohne Erklärung vertraute ein gutes Drittel der Testpersonen dem fehlerhaften Modell. Mit Erklärung kippte dieses Vertrauen drastisch.

Hier lohnt eine Frage an Sie: Wie viele Modelle laufen gerade in Unternehmen, die beeindruckende Kennzahlen liefern und in Wahrheit auf den Schnee starren?

Wofür LIME taugt

Genau deshalb wurde LIME weit über die Forschung hinaus bekannt. Überall dort, wo eine falsche Begründung Folgen hat, wird die Frage nach dem Warum zur Pflicht.

In der Medizin will eine Ärztin verstehen, welche Werte ein System zu seiner Risikoeinschätzung bewogen haben, bevor sie danach handelt. In der Kreditvergabe verlangt der Gesetzgeber zunehmend, dass eine Ablehnung nachvollziehbar ist und nicht aus einem undurchschaubaren Bauch heraus erfolgt. In der Betrugserkennung hilft die Methode, ein Modell zu prüfen, das vorschnelle Muster gelernt hat.

LIME schafft hier dreierlei: Sie macht Vertrauen begründbar, sie deckt Verzerrungen im Training auf, und sie gibt Entwicklern ein Werkzeug, um ihr eigenes Modell zu hinterfragen, statt ihm blind zu glauben.

Ein praktischer Punkt kommt hinzu: Die Methode ist frei verfügbar. Die ursprüngliche Implementierung der Autoren liegt als offene Python-Bibliothek auf GitHub und lässt sich mit wenigen Zeilen Code an ein bestehendes Modell anschließen. Genau das hat zu ihrer weiten Verbreitung beigetragen. Niemand muss seine Architektur umbauen, um einen Blick hinter die Vorhersage zu werfen.

Wo die Falle liegt

Doch hier liegt der Unterschied zu einem Röntgenbild.

LIME zeigt nicht, was im Modell wirklich vorgeht. Sie zeigt eine Annäherung. Genau genommen die Annäherung an eine Annäherung. Das hat Folgen, die man kennen sollte, bevor man sich auf das Ergebnis verlässt.

Das größte Problem heißt Instabilität. Weil LIME ihre Varianten zufällig erzeugt, kann dieselbe Entscheidung bei zwei Durchläufen zwei leicht verschiedene Erklärungen liefern. Mal steht das eine Merkmal oben, mal das andere. Forscher haben diese Schwankungen mehrfach dokumentiert und eigene Varianten entwickelt, um sie zu zähmen.

Dazu kommt eine stille Annahme: dass sich das komplexe Modell im kleinen Umkreis einer Entscheidung ungefähr linear verhält. Tut es das nicht, etwa weil die Entscheidungsgrenze dort stark gekrümmt ist, wackelt die Erklärung. Und wie groß dieser „kleine Umkreis“ überhaupt sein soll, ist eine Stellschraube, die das Ergebnis spürbar verschiebt. Wer hier am Regler dreht, dreht am Befund.

Würden Sie einer Begründung trauen, die bei jedem zweiten Durchlauf ein wenig anders ausfällt?

Die ehrliche Antwort lautet: mit Vorsicht. LIME ist eine Taschenlampe, kein Durchleuchtungsgerät. Sie beleuchtet einen Winkel, nicht den ganzen Raum. Wer das im Kopf behält, hat ein nützliches Werkzeug. Wer es vergisst, verwechselt ein Indiz mit einem Beweis.

LIME und SHAP

Damit kommt eine zweite Methode ins Spiel, die fast immer im selben Atemzug genannt wird: SHAP, kurz für Shapley Additive Explanations.

SHAP stammt aus der Spieltheorie. Sie behandelt die Merkmale einer Vorhersage wie Spieler in einem Team und verteilt die Verantwortung für das Ergebnis nach einem mathematisch sauber begründeten Prinzip, den sogenannten Shapley-Werten. Das macht ihre Erklärungen meist stabiler und theoretisch besser fundiert. Der Preis dafür: SHAP ist deutlich rechenintensiver und langsamer, gerade wenn viele Fälle erklärt werden sollen.

LIME dagegen ist schnell, flexibel und intuitiv. Dafür wackliger.

Konkurrenten sind die beiden weniger, als es oft klingt. Eher zwei Linsen für denselben Zweck. Manche Arbeiten zeigen sogar, dass sich beide Verfahren unter einem gemeinsamen Dach beschreiben lassen. Wer schnell eine erste Intuition braucht, greift zu LIME. Wer in einem sensiblen Umfeld konsistente Aussagen verlangt und die Rechenzeit hat, nimmt SHAP. Eine vertiefte Einordnung beider Methoden bietet das frei verfügbare Buch Interpretable Machine Learning von Christoph Molnar.

Was bleibt

LIME ist kein Zauberstab, der die Blackbox transparent macht. Sie ist ein kluger Umweg. Statt ins Innere zu schauen, beobachtet sie das Verhalten von außen und übersetzt es in etwas, das ein Mensch lesen und prüfen kann. Lokal, näherungsweise, mit bekannten Schwächen, aber oft gerade gut genug, um eine wichtige Frage zu beantworten.

Denn am Ende führt die Methode auf eine Frage zurück, die größer ist als jede Technik. Wir fragen Maschinen immer häufiger: Was meinst du? Und sie antworten. Schnell, selbstsicher, oft richtig.

Die eigentliche Frage ist eine andere. Nicht, ob die Maschine recht hat. Sondern, ob sie aus einem Grund recht hat, hinter dem wir stehen würden.

Das Modell sah nie den Wolf. Es sah nur den Schnee. Die Kunst besteht darin, diesen Unterschied zu bemerken, bevor es darauf ankommt.