KI Regulierungsversuche – die Wirkung von DSA & AI Act und was noch zu tun ist!

Künstliche Intelligenz verändert unsere Gesellschaft – und verstärkt dabei nicht selten genau jene Ungleichheiten, die sie angeblich überwinden will. Im Rahmen von automatisierter Entscheidungsfindung und bei generativer KI, die Texte, Bilder und Videos erzeugt, treten neue Formen digitaler Gewalt, Diskriminierung, Stärkung gesellschaftlicher Vorurteile und sozioökonomischer Ungleichheiten sowie politischer Manipulation zutage. Hierfür braucht es klare Regulierung und gesetzliche Regelungen.

Im dritten und letzten Teil der Blogreihe:

• … werfen wir einen kritischen Blick auf aktuelle Versuche, KI zu regulieren - insbesondere auf den AI Act der EU und den Digital Services Act (DSA).
• … fragen wir, was bringen diese Regelwerke im Kampf gegen geschlechtsspezifische, rassistische und klassistische Diskriminierung durch KI und wo bleiben Schutzmechanismen für marginalisierte Gruppen?
• … zeigen wir, wie rechtliche Lücken geschlossen werden könnten.

Künstliche Intelligenz (KI) ist längst kein abstraktes Zukunftsthema mehr – sie strukturiert heute schon unseren Alltag, beeinflusst unsere Entscheidungen und wirkt auf gesellschaftliche Machtverhältnisse. Gleichzeitig zeigen Studien und Fallanalysen: KI-Systeme können bestehende Diskriminierungen nicht nur reproduzieren, sondern auch verstärken. Die zugrunde liegenden Trainingsdaten sind oft nicht neutral, sondern spiegeln soziale Vorurteile, ungleiche Repräsentation und koloniale Datenstrukturen wider. Mehr Informationen gibt es in Teil 1 dieser Reihe nachzulesen.

Sowohl die UNESCO, als auch die EU haben schon vor einigen Jahren auf die Risiken beim Einsatz von KI in (sensiblen) gesellschaftlichen Bereichen hingewiesen. Laut Europäischer Kommission könnten KI-Systeme die Werte der EU gefährden und Grundrechte wie Meinungsfreiheit, Nichtdiskriminierung und Schutz personenbezogener Daten beeinträchtigen: „Durch den Einsatz von KI können die Werte, auf die sich die EU gründet, gefährdet und Grundrechte verletzt werden. Dazu gehören die Meinungsfreiheit, die Vereinigungsfreiheit, die Achtung der Menschenwürde, die Nichtdiskriminierung aus Gründen des Geschlechts, der Rasse oder der ethnischen Herkunft, der Religion oder der Weltanschauung, einer Behinderung, des Alters oder der sexuellen Ausrichtung, der Schutz personenbezogener Daten und der Privatsphäre, das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren sowie der Verbraucherschutz.“ EU Kommission (2020) 

Die UNESCO betonte in 2021 zudem, dass geschlechtsspezifische Stereotype und Diskriminierung in KI-Systemen vermieden und aktiv bekämpft werden müssen. Dafür startete die UNESCO 2022 das Projekt „Women for Ethical AI“, um Geschlechtergerechtigkeit in die KI-Agenda zu integrieren. Auch das UN AI Advisory Board fordert eine gemeinwohlorientierte KI und hebt Gender als wichtiges Querschnittsthema hervor.

Mit dem Digitale Dienste Gesetz (engl.: Digital Services Act (DSA)) und der KI-Verordnung (engl.: AI Act) versucht die EU, der digitalen Macht großer Plattformen und KI-Systeme nun Grenzen zu setzen. Beide Regulierungen enthalten wichtige Ansätze, doch aus intersektional-feministischer Perspektive bleiben zentrale Fragen offen.

Der DSA ist im Februar 2024 in Kraft getreten und verpflichtet große Plattformen (engl.: Very Large Online Platforms, sogenannte VLOPs, z.B. Meta, TikTok, X) zur systematischen Risikobewertung und -minderung bei algorithmisch vermittelten Inhalten, vor allem im Rahmen der Sortierung der Newsfeeds sowie im Bereich der Inhaltemoderation.

Der DSA zielt unter anderem darauf ab, sogenannte systemische Risiken zu identifizieren, zu analysieren und zu mindern, die durch die Funktionsweise der Plattform entstehen – insbesondere solche, die Grundrechte, demokratische Prozesse oder die öffentliche Sicherheit betreffen, wie Desinformation oder Hassrede.

Hierzu schreibt der DSA transparente Reports im Kontext der Risikobewertung vor – allerdings nicht wie diese Risikobewertung und Berichtslegung konkret vorzunehmen ist. Auch der Begriff systemisches Risiko ist im Gesetzestext sehr breit definiert und kann daher auch von den Plattformen verschieden ausgelegt werden. Die ersten Berichte von Ende 2024 blieben deshalb oberflächlich und vage. Die eigene Risikobewertung der Plattformen verspricht Transparenz, vermittelt aber nur wenig brauchbare Informationen: „Die ersten Risikoberichte suggerieren, dass auf den Plattformen alles in Ordnung ist. Alle, die auf Social Media unterwegs sind wissen, dass das nicht die ganze Wahrheit ist. Grundsätzlich können uns diese Berichte bei der Beurteilung der Plattform-Risiken helfen, aber sie müssen noch viel informativer und umfassender sein.“ Clara Helming, AlgorithmWatch,

Auch enthalten im DSA sind Transparenzpflichten für Empfehlungssysteme wie zum Beispiel Anzeigen.

Aus intersektional-feministischer Perspektive zeigt sich: Der DSA adressiert strukturelle Macht- und Diskriminierungsverhältnisse im digitalen Raum nur unzureichend. Er verfehlt es, die epistemische Gewalt, die sich in algorithmischen Moderationssystemen, in der Plattformlogik selbst und in ihrer ökonomischen Architektur zeigt, konsequent zu benennen und zu bekämpfen.

• Ein zentrales Problem liegt in den (teil-)automatisierten Moderationssystemen, die Plattformen zur Erkennung rechtswidriger oder „problematischer“ Inhalte einsetzen. Diese Systeme arbeiten oft auf der Basis sprachlicher und kontextueller Muster – Muster, die wiederum auf historischen Datensätzen beruhen, in denen marginalisierte Sprachen und Perspektiven unterrepräsentiert sind. Inhalte aus feministischer, queerer oder antirassistischer Perspektive werden überproportional häufig als „unangemessen“, „hasserfüllt“ oder „extremistisch“ eingestuft – während sexistische, transfeindliche oder rassistische Aussagen algorithmisch durchrutschen.

So geraten Betroffene von digitaler Gewalt in einen paradoxen Zustand: Ihre Strategien der Gegenwehr und Selbstermächtigung werden zensiert, während die Gewalt, gegen die sie sich richten, online verbleibt, oft unter dem Deckmantel von „Meinungsfreiheit“.

• Der DSA enthält zudem keine strukturelle Auseinandersetzung mit der ökonomischen Logik, nach der Plattformen Inhalte kuratieren und verbreiten. Algorithmen sind auf Engagement-Maximierung optimiert – nicht auf das Wohlergehen von Nutzer:innen.  Inhalte, die Empörung, Polarisierung oder Aufmerksamkeitsökonomien bedienen, werden bevorzugt ausgespielt – und das bedeutet konkret: antifeministische, rassistische, queerfeindliche Narrative erhalten mehr Sichtbarkeit als sachliche, differenzierte Gegenreden. Diese Logik verstärkt das Risiko für Betroffene digitaler Gewalt und wirkt wie ein Verstärker für strukturell ohnehin marginalisierte Stimmen, die aus dem digitalen Diskurs gedrängt werden. Hier fehlt der intersektionale Blick: es wird weder erfasst noch verlangt, dass Plattformen prüfen, ob ihre Systeme spezifisch queere, migrantisierte, be_hinderte oder mehrfach marginalisierte Personen systematisch benachteiligen oder zum Schweigen bringen.

• Auch der Einbezug der Betroffenenperspektive bleibt außen vor: zwar sieht der DSA Beteiligung von Zivilgesellschaft und Forschung vor (z. B. in Aufsichtsbeiräten), doch bleibt unklar, wie strukturell marginalisierte Gruppen eingebunden werden – nicht nur als Betroffene, sondern als Wissensproduzent:innen.

Dringend inkludiert werden sollten deshalb fest verankerte und systematisch vorgegebene Bias-Analysen für Moderations- und Empfehlungssysteme, die:

• explizit intersektionale Diskriminierung einbeziehen,
• die unbedingte Mitsprache marginalisierter Gruppen bei Risikoanalysen und Designentscheidungen sowie
• umfassende Folgeabschätzungen für Plattformarchitekturen, die Reichweitenlogiken, Affordanzen und Monetarisierung auf ihre demokratie-, grund- und menschenrechtlichen Folgen prüfen.

Das ist ein Anfang, und doch unzureichend. Die Verordnung greift zu kurz, wenn es um geschlechtsspezifische Gewalt mit Blick auf sexualisierte bildbasierte Gewalt („DeepFakePorn“) geht - für eine Vertiefung geht es hier zu Teil 2 dieser Reihe. Generative KI-Modelle wie GPT-4, DALL·E oder Midjourney sind nicht explizit als Hochrisiko klassifiziert, obwohl sie zunehmend zur Produktion problematischer Inhalte genutzt werden.

Auch deshalb wurde nachjustiert: KI-Systeme wie ChatGPT müssen sich ab August 2025 an die KI-Verordnung halten und technische Dokumentation sowie und Bias-Minderungstechniken offenlegen. Mit neuen Leitlinien und einem Kodex will die EU-Kommission die oftmals vagen Vorgaben in Form bringen. Laut General-Purpose AI Code of Practice (KI-Verhaltenskodex für allgemeine Zwecke) bestehen drei zentrale Pflichten:

• Transparenz: mit Blick auf die Offenlegung der Modellgröße, Trainingsdatenquellen, Energieverbrauch, Maßnahmen gegen Bias und Fehler
• Urheberrechtsschutz: meinte keine Verwendung urheberrechtlich geschützter Inhalte ohne Zustimmung, Maßnahmen gegen KI-generierte Urheberrechtsverletzungen und
• Sicherheitsmaßnahmen: namentlich den Schutz vor Diskriminierung und negativen Auswirkungen

Diese Kodizes sind rechtlich nicht bindend aber sie gelten als Auslegungshilfe der EU-Kommission. Wer sich nicht daran hält, muss eigene Belege liefern, um Gesetzeskonformität nachzuweisen. Der Kodex dient somit als „Musterlösung“ zur Vermeidung regulatorischer Konflikte. Während Microsoft und OpenAI sich derzeit bereit zeigen, den Code zu zeichnen hat Meta bereits abgelehnt.

Obwohl der AI Act Grundrechte schützen soll, reichen die darin vorgesehenen Maßnahmen nicht aus, um reale Risiken durch KI-Systeme zu verhindern. Besonders in sensiblen Bereichen wie Überwachung oder Strafverfolgung drohen tiefgreifende Eingriffe in das Recht auf Privatsphäre, Nichtdiskriminierung sowie Meinungs- und Versammlungsfreiheit.

Ein zentrales Problem: Strafverfolgungs-, Sicherheits- und Migrationsbehörden sind weitgehend von der KI Verordnung ausgenommen. Sie können sich auf nationale Sicherheitsinteressen berufen und dadurch sogar verbotene KI-Praktiken einsetzen, ohne die Schutzmaßnahmen des Gesetzes beachten zu müssen.

Auch der Einsatz biometrischer Technologien (wie Gesichtserkennung) ist nicht klar genug eingeschränkt:

• Echtzeit-Überwachung ist nur teilweise verboten, nachträgliche Identifizierung ist bei bloßem Verdacht erlaubt.
• Auch biometrische Kategorisierungen (z.B. nach Geschlecht) bleiben erlaubt, obwohl sie diskriminierend wirken können.
• Und Emotionserkennung ist im Bildungs- und Arbeitskontext verboten, aber für Polizei und Migration erlaubt – ein klares Machtungleichgewicht.

So ignoriert der AI Act strukturelle Machtverhältnisse zwischen Nutzer:innen und Behörden oder Unternehmen. KI-Systeme können so weiterhin dazu beitragen, marginalisierte Gruppen zu kontrollieren, zu überwachen und auszuschließen, besonders in Migrations- und Sicherheitskontexten, wo Transparenzpflichten explizit ausgesetzt sind. Die Frage, wie Diskriminierungslogiken in Daten, Modellen und Institutionen eingeschrieben sind, bleibt darüber hinaus weitgehend unbeantwortet.

Die Anerkennung der Gefahr durch „(unfaire) Verzerrung“ wird im Gesetzestext der KI Verordnung an vielen Stellen genannt, jedoch wenig konkret adressiert.

• So tauchen Geschlecht, race und weitere Aspekte als Diskriminierungskategorien auf. Ein konkreter Aufruf zur Verhinderung von Verzerrungen (sogenannte Biases) in Datensätzen und Ergebnissen findet sich aber nur in Artikel 10 in den Absätzen 2f), 2g) und Absatz 3 im Hinblick auf sogenannte Hochrisiko-Systeme. Dort werden rechtlich bindende Qualitätsanforderungen an Trainingsdatensätze formuliert; diese sollen mit Blick auf die Zielgruppe eines KI-Systems “hinreichend repräsentativ” sein und in Hinblick auf den beabsichtigten Zweck "so weit wie möglich fehlerfrei und vollständig”.

→ Diese Vorgaben bieten jedoch Spielraum für unterschiedliche Auslegungen – was bedeutet repräsentativ?

→ Zudem sollen “geeignete Maßnahmen” zur Erkennung, Verhinderung und Abschwächung möglicher Biases ergriffen werden. Die Frage, was diese „geeignete Maßnahmen“ sind, wird allerdings erst die Rechtsanwendung zeigen können. Eine entsprechende Definition steht, auch mit Blick auf die stark unterschiedlichen Systeme, noch aus.

• Ein weiteres Problem: Grundsätzlich wird die individuelle Betroffenheit einer Person vorausgesetzt, da andernfalls definitionsgemäß keine Diskriminierung vorliegt. Beim Einsatz von KI-Systemen liegt eine solche aber häufig eben nicht vor, beispielsweise dann, wenn KI-generierte Inhalte gesellschaftliche Stereotype widerspiegeln, die in Trainingsdaten enthalten sind.

Es gilt also genauer ins Detail zu gehen und offene Punkte konkreter zu addressieren und auszugestalten.

Aus intersektional-feministischer Perspektive zeigt sich: Die Verordnung bleibt hinter ihren eigenen Ansprüchen zurück. Sie adressiert nicht konsequent, wie KI-Systeme soziale Ungleichheiten verstärken, wie sie diskriminierende Normen tradieren – und wie diese Verzerrungen besonders marginalisierte Gruppen treffen.

Ein feministischer Blick zeigt: Diskriminierung durch KI ist kein „technisches Fehlverhalten“, sondern das Ergebnis historisch gewachsener, machtvoller Datenpraktiken. Der AI Act versucht mithin Symptome zu verwalten, ohne Ursachen zu benennen.