2014 wollte Amazon den heiligen Gral der Personalabteilung bauen. Ein Programm, dem man hundert Lebensläufe in den Schlund wirft, und das die fünf besten wieder ausspuckt. Bewertung von einem bis fünf Sternen, wie bei Schuhen oder Küchenmaschinen. Einstellen, fertig, Kaffee.

Ein Jahr später stand fest: Das Modell mochte keine Frauen.

Es strich Lebensläufe ab, in denen das Wort „Frauen“ auftauchte. Eine Bewerberin im Frauen-Schachverein? Punktabzug. Absolventin eines reinen Frauen-Colleges? Schlechtere Note. Amazon versuchte, dem System diese Wörter abzugewöhnen, neutralisierte sie von Hand, doch das Vertrauen war hin. Niemand konnte garantieren, dass es nicht an anderer Stelle dasselbe tat, nur subtiler. 2017 wurde das Projekt beerdigt. Nachzulesen bis heute in der Aufarbeitung der MIT Technology Review.

Halten wir kurz inne.

Diese Maschine war nicht bösartig. Sie hasste keine Frauen. Sie hatte schlicht zehn Jahre alte Bewerbungen gelesen, und die kamen, weil die Tech-Branche ist, wie sie ist, überwiegend von Männern. Das Modell zog die einzige Lehre, die in den Daten steckte: Ein guter Kandidat sieht aus wie die Männer, die hier schon arbeiten.

KI-Bias entsteht, wenn Systeme alte Verzerrungen aus Daten übernehmen und daraus scheinbar neutrale Entscheidungen machen.

Was KI-Bias eigentlich ist

KI-Bias, manchmal auch algorithmischer Bias oder schlicht Verzerrung genannt, beschreibt einen systematischen Fehler: Ein KI-System trifft Entscheidungen, die bestimmte Menschen oder Gruppen regelmäßig benachteiligen oder bevorzugen. Nicht aus Zufall. Nicht im Einzelfall. Sondern als Muster.

Und jetzt der Satz, der vieles geraderückt:

Die Maschine erfindet diese Vorurteile nicht. Sie schreibt sie ab.

Ein Algorithmus lernt aus Beispielen. Füttert man ihn mit der Vergangenheit, baut er die Zukunft nach dem Bild dieser Vergangenheit. War die Vergangenheit schief, wird die Zukunft schiefer, denn die Maschine bügelt nichts glatt. Sie betoniert. Was als statistisches Muster hineingeht, kommt als Entscheidung über echte Menschen wieder heraus.

Ein Sauerteig vergisst nichts

Vielleicht hilft ein Bild aus der Küche.

Stellen Sie sich einen Sauerteig vor. Diese lebende Kultur, die manche Bäckerfamilien über Generationen weiterreichen. Sie füttern ihn mit Mehl und Wasser, er wächst, er blubbert, er macht aus toter Masse ein Brot mit Charakter. Aber er trägt seine ganze Geschichte in sich. Jede Hefe, jedes Bakterium, jeder Beigeschmack, den er je aufgenommen hat, lebt weiter.

Geben Sie ihm schlechtes Mehl, bekommen Sie schlechtes Brot. Nicht heute, nicht beim ersten Mal. Aber irgendwann schmeckt man es.

Trainingsdaten sind dieser Sauerteig. Das KI-Modell ist der Teig, der daraus aufgeht. Und das fertige Brot ist die Entscheidung, die am Ende auf dem Tisch liegt: Wer bekommt den Job, den Kredit, die Wohnung, die mildere Strafe.

Das Heimtückische: Dem Teig sieht man den Fehler nicht an. Er sieht aus wie jeder andere Teig. Erst das gebackene Brot verrät, was im Starter steckte. Genauso verbirgt ein Modell seine Schieflage hinter glatten Wahrscheinlichkeiten und ordentlichen Prozentzahlen. Es wirkt objektiv. Es wirkt sauber. Es ist beides nicht.

Welche Entscheidung trifft in Ihrem Umfeld heute schon ein Modell, dessen Teig Sie nie gekostet haben?

Woher die Verzerrung kommt

Bias entsteht selten an einer einzigen Stelle. Drei Quellen tauchen immer wieder auf.

Die erste sind die Daten selbst. Sie sind ein Foto der Vergangenheit, kein Plan für die Zukunft. Eine Branche, die jahrzehntelang Männer beförderte, erzeugt Daten, in denen Erfolg männlich aussieht. Eine Bilddatenbank, die überwiegend helle Hautfarben enthält, bringt einem System bei, dunkle Gesichter schlechter zu erkennen.

Die zweite sind die Menschen, die das System bauen und beschriften. Jemand muss entscheiden, was als „guter“ Bewerber gilt, was ein „Risiko“ ist, was überhaupt gemessen wird. In diesen Entscheidungen sitzen blinde Flecken, oft unbemerkt. Ein Team, das selbst keine Kinder hat, vergisst womöglich, die Lebenswirklichkeit von Eltern abzubilden.

Die dritte ist das Ziel selbst. Was definieren wir als Erfolg? Optimiert ein Empfehlungssystem auf Klicks, lernt es schnell, dass Empörung und Extremes klicken. Es spielt nicht aus, was uns guttut. Es spielt aus, was uns festhält. Die Verzerrung steckt dann nicht in einem Datenfehler, sondern in der Frage, die wir der Maschine überhaupt gestellt haben.

Wenn aus Statistik ein Schicksal wird

Damit das nicht abstrakt bleibt: zwei Fälle, die sich eingebrannt haben.

2018 prüften die Forscherinnen Joy Buolamwini und Timnit Gebru kommerzielle Systeme zur Gesichtsanalyse. Ihre Studie Gender Shades zeigte ein Gefälle, das einem den Atem nimmt: Bei hellhäutigen Männern lag die Fehlerquote bei 0,8 Prozent. Bei dunkelhäutigen Frauen kletterte sie auf bis zu 34,7 Prozent. Dasselbe Programm, dieselbe Aufgabe, je nach Gesicht ein anderes Maß an Genauigkeit. Buolamwini hatte den Effekt am eigenen Leib erfahren: Manche Systeme erkannten ihr Gesicht erst, als sie eine weiße Maske aufsetzte.

Man könnte meinen, das sei eine Sache der alten, starren Entscheidungssysteme. Ist es nicht. Auch die generative KI von heute, die Texte schreibt und Bilder malt, trinkt aus demselben Brunnen. Bittet man einen Bildgenerator um „eine Führungskraft“, liefert er auffällig oft denselben Typ Mensch. Fragt man nach einer „Pflegekraft“, kippt das Bild ins Gegenteil. Das System hat nichts beschlossen. Es hat nur nachgezeichnet, welche Gesichter im Netz mit welchen Rollen verknüpft waren. Wer mit solchen Werkzeugen Stellenanzeigen oder Kampagnen baut, gibt diese stillen Annahmen ungefiltert weiter, oft ohne es zu merken.

Der zweite Fall liegt schwerer im Magen, weil es um Freiheit geht. In den USA hilft ein Programm namens COMPAS Richtern einzuschätzen, wie wahrscheinlich ein Angeklagter rückfällig wird. 2016 deckte die Rechercheplattform ProPublica auf, dass schwarze Angeklagte fast doppelt so häufig fälschlich als „hohes Risiko“ eingestuft wurden wie weiße. Die ganze Geschichte steht in der Reportage Machine Bias.

Und jetzt wird es unbequem.

Die unbequeme Wahrheit über Fairness

Der Hersteller von COMPAS widersprach ProPublica. Und, das ist der Punkt, beide hatten auf ihre Weise recht.

ProPublica maß Fairness daran, wer fälschlich als gefährlich abgestempelt wird. Der Hersteller maß sie daran, ob ein hoher Risikowert für alle Gruppen gleich verlässlich vorhersagt, was er vorhersagen soll. Zwei verschiedene Begriffe von Gerechtigkeit. Beide klingen vernünftig. Beide vertreten kluge Menschen.

Dann kam die mathematische Ohrfeige: Forscher zeigten, dass sich beide Definitionen bei diesen Daten nicht gleichzeitig erfüllen lassen. Solange die zugrunde liegenden Raten unterschiedlich sind, muss ein Algorithmus die eine Fairness gegen die andere eintauschen. Es gibt keinen Schalter, der beides auf „gerecht“ stellt.

Das ist die Erkenntnis, an der die meisten vorbeireden:

KI-Bias ist kein Bug, den man mit einem Patch erschlägt. Es ist eine Entscheidung darüber, welche Gerechtigkeit man will.

Wer behauptet, sein System sei „neutral“, hat diese Entscheidung nicht vermieden. Er hat sie nur nicht ausgesprochen. Neutralität ist keine Eigenschaft eines Algorithmus. Sie ist eine Geschichte, die wir uns erzählen, damit niemand die Hand heben muss.

Verantwortung lässt sich nicht delegieren

Hier liegt der Kern, und hier wird es zur Haltungsfrage.

Es ist verführerisch, die Maschine vorzuschieben. „Das Modell hat entschieden.“ Klingt sauber, klingt objektiv, klingt nach niemandem, der schuld ist. Doch ein Algorithmus, der vergangene Diskriminierung lernt und in die Zukunft trägt, beseitigt das Vorurteil nicht. Er wäscht es nur. Er gibt der alten Schieflage ein frisches, technisches Gewand und einen Stempel, der nach Wissenschaft aussieht.

Das ist keine Vorsicht. Das ist Bequemlichkeit mit guter Tarnung.

Wer ein System einsetzt, das über Menschen urteilt, trägt die Verantwortung für dessen Urteil. Punkt. Man kann die Rechenarbeit auslagern. Die Verantwortung bleibt am Tisch sitzen, bei dem Menschen, der den Knopf drückt.

Auch der Gesetzgeber hat das erkannt. Die KI-Verordnung der EU, seit August 2024 in Kraft, behandelt Anwendungen in heiklen Feldern wie Bewerbung, Kredit oder Justiz als Hochrisiko-Systeme. Sie verlangt geprüfte Datenqualität, Dokumentation und menschliche Aufsicht. Die genauen Fristen werden gerade noch nachjustiert, doch die Richtung steht: Wer eine KI über Lebenswege entscheiden lässt, muss zeigen können, wie und warum.

Was hilft, ohne das Brot zu garnieren

Zurück in die Küche, denn die Lösung wohnt dort, wo das Problem entstand.

Erstens: Kennen Sie Ihren Starter. Bevor ein Modell entscheidet, prüfen Sie, womit es gefüttert wurde. Wer fehlt in den Daten? Wessen Geschichte ist überrepräsentiert, wessen taucht gar nicht auf? Ein blinder Fleck in den Daten wird zum blinden Fleck in der Entscheidung.

Zweitens: Kosten Sie, bevor Sie servieren. Ein Modell, das nur als Durchschnitt glänzt, kann einzelne Gruppen verhungern lassen. Also schmecken Sie getrennt ab. Wie genau ist das System für Frauen, für Ältere, für Menschen mit anderer Herkunft? Der Durchschnitt ist ein Vorhang, der das Gefälle verdeckt.

Drittens, und das ist die eigentliche Lehre aus Amazon: Reparieren Sie nicht die Kruste, wenn der Teig faul ist. Amazon strich einzelne Wörter und glaubte kurz, das Problem sei gelöst. War es nicht. Kosmetik am Ergebnis heilt keine Schieflage im Fundament. Wenn ein System strukturell verzerrt ist, hilft kein Zuckerguss obendrauf. Dann muss der Starter neu angesetzt werden.

Und über allem steht der Mensch, der entscheidet. Erklärbarkeit, das Nachvollziehen, warum ein Modell so und nicht anders urteilt, ist kein Luxus für die Technik-Abteilung. Es ist die Bedingung dafür, dass überhaupt jemand Verantwortung übernehmen kann.

Wann haben Sie das letzte Mal gefragt, nicht ob ein System funktioniert, sondern für wen es schlechter funktioniert?

Der Spiegel zeigt, wer davor steht

KI-Bias führt uns etwas vor, das wir lieber nicht sähen. Die Maschine ist ehrlicher als wir, weil sie kein Schamgefühl hat. Sie zeigt uns ungeschönt, was in unseren Daten steckt, also in unserer Geschichte, also in uns.

Das Unbequeme an der voreingenommenen Maschine ist nicht die Maschine.

Es ist das Rezept.