Warum KI Vergangenes vorhersagt und Diskriminierung fortschreibt

Ob beim Sortieren von Bewerbungen, bei der Vergabe von Sozialleistungen, in der medizinischen Diagnostik oder in der Strafverfolgung; KI-gestützte Systeme strukturieren immer mehr gesellschaftliche Bereiche und versprechen Neutralität, Effizienz und bessere Entscheidungen. Doch diese sogenannten automatisierten Entscheidungssysteme (englisch: automated decision-making systems; kurz: ADM-Systeme) sind keineswegs objektiv. Aktuelle Studien und Praxisbeispiele zeigen: ADM-Systeme reproduzieren häufig genau jene Ausschlüsse und Ungleichheiten, die sie zu beheben vorgeben. Sie schreiben derzeit vor allem strukturelle Diskriminierungen fort, insbesondere für FLINTA*, BIPoC, queere Personen und Menschen mit Behinderungen. Diese „Vergangenheitsorientierung“ der Systeme als soziotechnische Akteure gilt es kritisch zu hinterfragen.

KI-basierte Entscheidungssysteme analysieren Daten und treffen (teil-)automatisierte Entscheidungen oder Empfehlungen – etwa darüber, wer für eine Stelle geeignet ist, wie hoch ein Kredit ausfallen sollte oder ob eine Person staatliche Unterstützung erhält. In der Theorie sollen solche Systeme Diskriminierung minimieren, weil sie "frei von menschlichen Vorurteilen" arbeiten. In der Praxis aber führen sie oft zu neuen Ausschlüssen. Warum?

Algorithmische Entscheidungen basieren auf historischen Daten und diese Daten sind alles andere als neutral. Sie stammen aus einer Welt, in der marginalisierte Gruppen wie BIPoC, weiblich gelesene Personen/Frauen*, FLINTA/LGBTIQA+ oder Menschen mit Behinderungen häufig benachteiligt wurden. Wer also in der Vergangenheit schlechter behandelt wurde, wird in der Logik der Maschine auch künftig als weniger geeignet bewertet. Sie spiegeln gesellschaftliche Machtverhältnisse wider und statt gerechte Zukunftsperspektiven zu eröffnen, zementieren viele ADM-Systeme die Vergangenheit und mit ihr rassistische, sexistische und klassistische Ausschlussmuster.

Wer heute in oder durch Unternehmen auf Basis von alten Mustern bewertet wird, hat morgen schlechtere Chancen – unter anderem bei der Kreditvergabe zeigen sich solche Verzerrungen. Wenn frühere Daten zeigen, dass weiße cis-männliche Personen häufiger Kredite erhalten und zurückzahlen konnten, verfestigt sich diese Logik im System. Wer von struktureller Benachteiligung betroffen war, etwa durch schlechtere Bezahlung oder Diskriminierung im Arbeitsmarkt, wird auch in Zukunft als höheres Risiko gewertet. Die Maschine "lernt" den Ausschluss bestimmter Personengruppe. Dies verstärkt wirtschaftliche Ungleichheiten und fördert ein Machtgefälle zugunsten ohnehin bereits privilegierter Gruppen (Vgl. Rudl 2021). Die nachfolgenden Beispiele zeigen, dass die Daten, mit denen KI-Systeme trainiert werden, maßgebend für die Diskriminierung in automatisierten Entscheidungsprozesse sind.

Dazu kommt die Intransparenz des Einsatzes der Systeme: Die Folgen der Diskriminierung bleiben meistens unbemerkt, wenn nicht sichtbar ist, wie automatisierte Entscheidungen zustande kommen. Betroffene können sich aus diesem Grund oft nicht dagegen wehren.

Noch problematischer wird es, wenn ADM-Systeme im Bereich von Sicherheit und Grundrechten eingesetzt werden. Im Predictive Policing (deutsch: vorausschauende Polizeiarbeit) werden vergangene Delikte von KI-Systemen genutzt, um zukünftige Gefahren zu berechnen. Doch gerade hier sind rassistische Verzerrungen besonders gefährlich. Das Problem: Diese Systeme tun nur so, als würden sie die Zukunft prognostizieren. In Wahrheit projizieren sie die Vergangenheit in die Zukunft – oft mit fatalen Folgen für Menschen, die ohnehin schon benachteiligt sind.

Die Daten, die den KI-Systemen zugrunde liegen, sind nicht neutral. Sie spiegeln die Machtverhältnisse jener wieder, die sie erheben, kategorisieren und auswerten. Feministische Datenpraktiken setzen hier an. Sie fordern:

• partizipative Datenerhebung
• kontextbezogene Kategorien
• unabhängige Audits
• Einbezug marginalisierter Gruppen

„Wie konnte es so weit kommen, dass die Datenwissenschaften fast ausschließlich im Dienst von Profit (für wenige), Überwachung (marginalisierter Gruppen) und Effizienz stehen? [...] Der Umgang mit Daten ist teuer und ressourcenintensiv, weshalb nur bereits mächtige Institutionen -Konzerne, Regierungen und Eliteuniversitäten- überhaupt die Mittel haben, im großen Maßstab mit ihnen zu arbeiten. Dies führt dazu, dass die Datenwissenschaften vor allem den Zielen eben dieser Institutionen dienen. Man kann diese Ziele als die drei S zusammenfassen: Science (dtsch.: Wissenschaft, vertreten durch Universitäten), Surveillance (dtsch.: Überwachung durch Regierungen) und Selling (dtsch.: Verkauf bzw. Profiterwirtschaftung durch Unternehmen). [...] Wenn also Wissenschaft, Überwachung und Verkauf die Hauptziele sind, denen Daten und die Datenindustrie dienen, weil nur hier die nötigen Ressourcen verortet sind, Daten zum eigenen Zweck einzusetzen; welche anderen Ziele und Zwecke bleiben dann unterversorgt und unterrepräsentiert?“ [Übers. d. Verf.]  (D’Ignazio/Klein 2020: 41-42)

Die Europäische Union hat mit dem AI Act (KI-Verordnung) 2024 nach langen Verhandlungen einen bedeutsamen Schritt in Richtung KI-Regulierung unternommen. Dort werden zwar Verzerrungen als Problem benannt, aber keine verbindlichen Anforderungen für Diversität, Gendergerechtigkeit oder Antidiskriminierung formuliert (Vgl. Vieth-Ditlmann/Sombetzki 2024; Mosene/Rachinger 2025). Artikel 10 des AI Acts verlangt darüber hinaus zwar „hinreichend repräsentative“ Daten, bleibt aber vage, was dies konkret bedeutet. Auch aus intersektionaler feministischer Perspektive greift diese Regulierung zu kurz. Zwar betont sie Transparenz, Erklärbarkeit und technische Zertifizierbarkeit, doch zentrale Fragen der Machtverteilung, Repräsentation und strukturellen Ungleichheit bleiben unberührt.

Das kann darüber hinaus getan werden:

• Feministische Datenwissenschaftler:innen wie Catherine D’Ignazio und Lauren Klein fordern stattdessen eine radikale Umverteilung von Datenmacht, die systemische Diskriminierung sichtbar macht, marginalisierte Perspektiven ins Zentrum rückt und epistemische Gerechtigkeit anstrebt. Ein Equality-by-Design-Ansatz muss demnach mehr sein als ein Zertifizierungsrahmen, er muss tiefgreifend politisch sein, Machtverhältnisse offenlegen und aktiv herausfordern. „Es gilt den Bezugs- und Analyserahmen zu verschieben, weg von Konzepten, die Macht absichern, wie Fairness und Rechenschaftspflicht, hin zu solchen, die Macht herausfordern, wie Gerechtigkeit und gleichberechtigte Teilhabe. Nur dies kann dazu beitragen, dass  Datenwissenschaftler:innen, Designer:innen und Forscher:innen Unterdrückung und Ungleichheit zukünftig als grundlegende Annahme bei der Entwicklung rechnergestützter Produkte und Systeme verstehen und diese zu überwinden suchen.” [Übers. d. Verf.]  (D’Ignazio/Klein 2020: 72)
• Das Allgemeine Gleichbehandlungsgesetz (AGG) muss zukünftig ebenso algorithmische Diskriminierung abdecken, mit Verbandsklagerecht und Schutz vor sogenannten Proxy-Variablen.
• Es braucht zudem verbindliche Kriterien für faire Trainingsdaten. Diese müssen vorab auf Verzerrungen analysiert werden, denn historische Ungleichheiten dürfen nicht unreflektiert übernommen werden.
• Es braucht Transparenzpflichten und eine diskriminierungssensible Prüfung von KI-Anwendungen. Nutzer:innen müssen wissen, wo ADM-Systeme eingesetzt werden und wie sie funktionieren. Außerdem müssen Entscheidungen anfechtbar sein, auch wenn sie algorithmisch getroffen wurden.
• Auch Unternehmen und Entwickler:innen tragen Verantwortung: durch diversere Teams, Audits, partizipative Datenerhebung und klare Mechanismen zum Eingreifen.
• Und Nutzer:innen? Sie können ADM nicht allein stoppen, aber durch Aufklärung, Sensibilisierung und politische Forderungen zum Wandel beitragen. Zivilgesellschaftliche Organisationen wie AlgorithmWatch leisten hier wichtige Arbeit.

Die Gerechtigkeit der Zukunft beginnt mit der kritischen Reflexion ihrer technischen Gegenwart.

Künstliche Intelligenz ist eben keine neutrale Technologie. Sie ist ein soziotechnisches System, das auf gesellschaftlichen Normen, Werten und Machtverhältnissen basiert. Wie sie entscheidet, hängt maßgeblich davon ab, wie sie trainiert, reguliert und genutzt wird. Wenn wir wollen, dass KI nicht die Ungleichheiten der Vergangenheit wiederholt, sondern eine gerechtere Zukunft mitgestaltet, müssen wir jetzt handeln.

Das bedeutet für die Praxis ganz konkret:

• Machtverhältnisse sichtbar machen
• Datenpraktiken hinterfragen
• Narrative verändern

Künstliche Intelligenz ist ein Spiegel unserer Gesellschaft – aber auch ein Werkzeug, sie zu verändern.