Wie generative KI Diskriminierung verstärkt

Ob Chatbot, Textgeneratoren oder Bilderstellung: Generative Künstliche Intelligenz (KI) ist auf dem Vormarsch und mit ihr ein neues Kapitel automatisierter Stereotypisierung. Sie ist längst Teil unseres digitalen Alltags, von KI-generierten Bewerbungs- oder Werbefotos über automatisierte Social Media Beschriftungen, Video-Untertitelungen bis hin zu Deepfake-Pornografie - Maschinen schreiben Geschichten, erzeugen Bilder und machen dabei nicht selten das Unsichtbare sichtbar: strukturelle Diskriminierung. Denn auch Large Language Models wie ChatGPT oder Bildgeneratoren wie Midjourney sind auf Grundlage verzerrter Daten trainiert: Sie reproduzieren so vielfach rassistische, sexistische, ableistische und klassistische Narrative.

KI-Systeme suggerieren Objektivität, dabei basieren sie häufig auf selektiven Daten und diskriminierenden Mustern. Generative KI reproduziert in ihren Outputs so oft normierte Vorstellungen von Geschlecht, Schönheit, Körpern und Verhalten.

Der zweite Teil der Blogreihe klärt:

• wie generative KI, also Systeme, die Texte schreiben oder Bilder erzeugen, diskriminierende Narrative (stereotype Vorstellungen über Geschlecht, Körper, Herkunft oder soziale Rollen) verstärkt,
• was das für unser Wissen, unsere Bilder von der Welt bedeutet und
• wie wir uns gegen solche Verzerrungen zur Wehr setzen können?

Die Ergebnisse generativer KI basieren auf großen Trainingsdatensätzen, darunter Texte, Bilder und Videos, die aus dem Internet und anderen Datenquellen stammen. Modelle wie ChatGPT, Midjourney oder Stable Diffusion lernen aus diesen Daten Muster, Sprache, Bildkompositionen. Doch wer oder was steckt in diesen Datensätzen? Welche Narrative, welche Muster werden reproduziert?

Eine Vielzahl an Studien zeigt: Die zugrundeliegenden Daten sind alles andere als neutral. Sie spiegeln gesellschaftliche Machtverhältnisse, Vorurteile und Ausschlüsse wider. Und weil KI daraus lernt, reproduziert sie diese auch – manchmal subtil, manchmal offensichtlich: “Die für große Sprachmodelle verwendeten Trainingsdaten sind voll von hegemonialen Weltanschauungen und ausgrenzenden Annahmen.” [Übers. d. Verf.] (Bender et al. 2021)

Diese Verzerrungen sind folgenreich. Denn KI-Bilder und -Texte prägen Vorstellungen davon, wie Menschen sind, sein sollten und wer dazugehören darf. Sie schreiben visuelle Normen fort: schlanke, helle, lächelnde Gesichter; erfolgreiche Männer, schöne Frauen.

Besonders gefährlich wird das, wenn diese Bilderwelt sich mit sexualisierter Gewalt überschneidet. Generative KI wird zunehmend für die Erstellung sogenannter Deepfakes genutzt: gefälschte Bilder und Videos, die Menschen nackt oder in sexuellen Situationen zeigen, ohne deren Zustimmung.

Was harmlos aussieht, ein Urlaubsfoto, ein Selfie, kann zur Vorlage für täuschend echte Deepfake-Nacktbilder werden.

Laut einer Recherche von netzpolitik.org entstehen tagtäglich zigtausende solcher Bilder mithilfe frei zugänglicher KI-Tools. Untersuchungen von 404 Media und Vice zeigen: Anbieter von solchen KI-Bild- und Videogeneratoren bieten kaum Schutzmechanismen gegen Missbrauch – sie ermöglichen es Nutzer:innen, mit wenigen Klicks und teils ausgehend von nur einem Bild, wie dem Profilbild auf Social Media, sexualisierte Deepfake-Videos zu generieren. Betroffen sind fast ausschließlich Frauen und Mädchen. Studien belegen: Über 95 % aller Deepfakes sind sexualisierter Natur – und nahezu 100 % betreffen weiblich gelesene Körper.

Was mit Prominenten begann, Schauspielerinnen, Politikerinnen, Influencerinnen betrifft heute vor allem Frauen aus dem direkten Umfeld der Täter: Mitschülerinnen, Kolleginnen, Nachbarinnen.

• In Spanien etwa wurden 2023 KI-generierte Nacktbilder von Schulmädchen in Messenger-Gruppen geteilt.
• In den USA ermittelte die Polizei gegen Jugendliche, die Deepfakes von Mitschülerinnen erstellten.

Die Ursache liegt in der Technik: Viele Bild-KI wurden mit Millionen pornografischer Bilder von Frauen trainiert. Die Systeme haben gelernt, weibliche Körper sexualisiert darzustellen, nicht als Fehlfunktion, sondern als Feature. Vor allem aber gründet diese Entwicklung auf patriarchalen gesellschaftlichen Mustern und Gewaltlogiken, die Frauen (und queere Personen) überproportional stark treffen.

Was all diese Phänomene verbindet: Sie betreffen nicht alle gleich. Generative KI verstärkt vor allem die Diskriminierung jener Gruppen, die ohnehin unterrepräsentiert oder marginalisiert sind: Schwarze Frauen, ressourcenschwächere soziale Schichtungen, Menschen mit Be_hinderung, queere Communities. Sie erscheinen entweder verzerrt, sexualisiert oder gar nicht.

Hinzu kommt der Faktor der Moderation, denn auch die Ergebnisse generativer KI-Systeme werden noch immer menschlich korrigiert. ChatGPT – das Werkzeug, das eine neue Zeitrechnung in der KI-Debatte eröffnet hat, ist dabei keine Ausnahme. ChatGPT als Ausformung generativer KI ist ein dialogorientierter Chatbot, der mithilfe von KI und moderner maschineller Lerntechnologie mit Nutzer:innen über textbasierte Nachrichten kommuniziert und zum Beispiel auf Anweisung Texte erstellt. Die Entwickler:innen haben sich große Mühe gegeben, ein System zu schaffen, das (zumindest auf der Oberfläche) weder Sexismus noch Rassismus reproduziert. Dies hatte jedoch einen hohen Preis. Dieser Preis wurde von schlecht bezahlten Mitarbeitenden im globalen Süden bezahlt, die dem System manuell melden mussten, wenn es diskriminierende oder gewalttätige Inhalte wiedergab. Sie taten dies, indem sie genau diese Art von Material manuell sichteten. Einfach ausgedrückt: Ohne Schulung oder Unterstützung erhalten zu haben, verbrachten diese Mitarbeitenden den ganzen Tag damit, sich gewalttätige, rassistische und sexistische Vorschläge des Systems anzusehen und diese dann zu markieren, damit das System sie nicht mehr wiedergibt.

Immer öfter kommt es vor, dass KI-Modelle halluzinieren und politische Desinformation verbreiten.

Besonders im politischen Kontext können halluzinierte Inhalte wie echte Informationen wirken und sich schnell über Social Media verbreiten. Hinzu kommt, dass Menschen KI koordiniert nutzen können, um Inhalte zu manipulieren und Desinformation zu verbreiten. Generative KI wird so zu einem Verstärker für gezielte Desinformation.

Das Beispiel Chatbot Grok illustriert eindrücklich die zentralen Probleme generativer KI mit Blick auf Desinformation: Halluzinationen vermischen sich mit Ideologie. Ein KI-System, das offen auf toxische Online‑Posts zugreift, wird gewissermaßen regelmäßig und überproportional stark mit Hassinhalten aufgeladen, dies produziert im schlechtesten Falle konkret menschenfeindliche Aussagen, ohne klare Trennlinie zwischen Fakten und Ideologie. Ohne öffentliches Monitoring oder ethisches Controlling laufen diese Systeme so permanent Gefahr, demokratischen Schaden anzurichten; technische Gestaltungsmacht wird hier zu politischem Einfluss und erzeugt demokratische Risiken.

Gegen diese Entwicklungen gibt es kein einfaches Update. Aber es gibt Handlungsspielräume:

• Nutzer:innen müssen auf kritisches Denken geschult werden; im Rahmen von Medienkompetenzerwerb braucht es einen wesentlichen Fokus auf eine reflexive, kritische Haltung im Umgang mit den Ergebnissen generativer KI (à Quellenkritik)
• Trainingsdaten generativer KI-Systeme müssen diverser, kuratierter und überprüfbarer werden. Die Datensätze, mit denen generative KI-Systeme trainiert werden, sollten vielfältige Perspektiven, Sprachen, Kulturen, Lebensrealitäten und Wissensformen abbilden und nicht nur westlich, männlich, weiß, englischsprachig und akademisch geprägt sein. Dies gelingt durch das Einbeziehen von mehrsprachigen Quellen und nicht-dominanten Wissensformen (z. B. indigene, queere, feministische Archive). Anstatt alles aus dem Internet unkontrolliert zu verwenden, sollten die Daten gezielt ausgewählt und zusammengestellt werden – nach ethischen, qualitativen Kriterien.
• Es muss Transparenz über Datengrundlagen geschaffen werden. Die Herkunft, Qualität und Zusammensetzung der Trainingsdaten sollte zudem transparent dokumentiert und nachvollziehbar sein, damit Wissenschaftler:innen, Regulierungsbehörden und die Öffentlichkeit überprüfen können, woher das Wissen der KI stammt.
• Es sollte Offenlegungspflichten für Unternehmen geben, die generative KI entwickeln – insbesondere bei öffentlicher oder staatlicher Nutzung.
• Es braucht externe Audits, also unabhängige Überprüfungen von KI-Systemen, die nicht vom Entwicklenden oder Betreibenden selbst durchgeführt werden, sondern von externen, neutralen Dritten (Forschungsinstitutionen, Datenschutzbeauftragten, Aufsichtsbehörden oder spezialisierten Prüfstellen).
• Synthetische Inhalte sollten verpflichtend gekennzeichnet werden, denn Nutzer:innen können oft nicht unterscheiden, ob ein Text, Bild oder Video von einem Menschen oder von einer KI stammt.

Der AI Act der EU sieht erste Transparenzpflichten vor, die neue EU-Richtlinie zu Gewalt gegen Frauen stellt sexualisierte Deepfakes unter Strafe.

Doch es braucht mehr: spezifische Straftatbestände, schnellere Löschmechanismen, Sanktionen für Anbieter und Plattformen.

Tools wie Glaze oder Nightshade helfen Nutzer:innen ihre Bilder vor ungewollter KI-Nutzung zu schützen. Plattformen wie HateAid, bff e.V. oder anna nackt bieten Beratung und Unterstützung für Betroffene von sexualisierter bildbasierter Gewalt an.

Gleichzeitig braucht es Aufklärung und Sensibilisierung über den Unterschied zwischen technischer Machbarkeit und ethischer Vertretbarkeit; über die Gefahren generativer KI, denn diese ist kein wertfreier Atlas, kein objektives Lexikon. Sie ist Spiegel unserer, von Ausschlüssen und Ideologien durchzogenen Gesellschaft.

Wenn Maschinen Geschichten erzählen, stellt sich eine zentrale Frage: Wer bestimmt die Narrative? Generative KI ist nicht nur ein technisches Tool, sie ist ein kulturelles Instrument, das unsere Bilder von der Welt formt. Wenn wir diese Technik nicht hinterfragen, schreiben wir Diskriminierung fort. Wenn wir sie gestalten, kann sie Werkzeug für Vielfalt, Demokratie und Gerechtigkeit werden:

• Zum Beispiel, indem generative KI gesprochene Sprache in Echtzeit transkribiert und automatisch untertitelt oder sogar gleichzeitig übersetzt. Sie bietet Zugang zu Wissen und Ausdrucksmöglichkeiten und kann so Menschen mit geringer formaler Bildung oder Sprachkompetenz unterstützen.
• Sie demokratisiert in gewisser Weise Kreativität und Ausdruck, indem sie Menschen, die sonst keine Mittel oder Zugänge zu professionellen Tools haben hilft, sich zu artikulieren.
• Sie könnte sogar marginalisierte Perspektiven sichtbar machen, würde sie mit diversen, kuratierten Datensätzen trainiert wird, um unterrepräsentierten Stimmen Raum zu geben oder historische Unsichtbarmachung zu rekonstruieren.

In generativer KI stecken so auch eine Menge emanzipativer Potentiale. Oder, um es mit Audre Lorde zu sagen: „The master’s tools will never dismantle the master’s house – but we can build our own.“ Lasst uns diese Potenziale heben.