Bias und Diskriminierung Prüfung
KI-Systeme werden auf Basis großer Textmengen trainiert, die Verzerrungen und gesellschaftliche Vorurteile enthalten können. Diese "Bias" können sich in den Outputs der KI-Systeme widerspiegeln und zu Diskriminierungen führen — besonders kritisch bei Personalentscheidungen, aber auch bei der Mandantenberatung zu diskriminierungsrechtlichen Fragen. Kanzleien müssen ihre Mitarbeitenden befähigen, Bias zu erkennen und zu korrigieren.
Rechtlicher Hintergrund
§§ 1, 7 AGG (Allgemeines Gleichbehandlungsgesetz): Diskriminierungsverbot aufgrund von Rasse, Geschlecht, Religion, Behinderung, Alter oder sexueller Identität — gilt für Beschäftigung und privatrechtliche Verträge, damit auch für Mandatsbeziehungen. Art. 9 DSGVO: Besonders sensible Datenkategorien — rassische/ethnische Herkunft, religiöse Überzeugungen etc. — dürfen nicht Grundlage von Entscheidungen sein. Art. 10 Abs. 5 KI-VO: Hochrisiko-KI-Systeme müssen auf Bias geprüft werden; für Kanzleien gilt dies indirekt beim Einsatz von KI im Personalwesen (Anhang III Nr. 4). Art. 22 DSGVO: Keine ausschließlich automatisierten Entscheidungen mit diskriminierender Wirkung. BAG-Rechtsprechung zum AGG: Der Nachweis einer Benachteiligung kann durch statistische Indizien erbracht werden.
Vorgehen
- Bias-Quellen verstehen: KI-Systeme können systematisch bestimmte Gruppen bevorzugen oder benachteiligen — je nach Trainingsdaten, Aufgabenstellung und Prompt-Formulierung.
- Kritische Kontexte identifizieren: Besonders anfällig: Bewerberauswahl, Beurteilung von Vertragsparteien, Formulierung von Texten zu diskriminierungsrechtlichen Themen.
- KI-Output auf Bias prüfen: Enthält der Text unangemessene Verallgemeinerungen, stereotypische Formulierungen oder einseitige Bewertungen bestimmter Gruppen?
- AGG-Compliance bei Personalentscheidungen: Stellt eine KI-Vorauswahl von Bewerbungen sicher, dass alle nach AGG geschützten Merkmale ausgeschlossen werden? Prüfung durch beauftragte Personalverantwortliche.
- Mitarbeitende schulen: Schulungsmodul zu Bias-Erkennung entwickeln; konkrete Beispiele aus der juristischen Praxis verwenden.
- Interne Meldepflicht: Bei festgestelltem Bias im KI-Output ist dieser intern zu melden und der Output nicht zu verwenden.
Vorlagentext / Bausteine
Baustein Bias-Sensibilisierung:
KI-Systeme können aufgrund ihrer Trainingsdaten vorurteilsbehaftete Inhalte erzeugen, die gegen das AGG oder andere Diskriminierungsverbote verstoßen. Mitarbeitende sind angewiesen, KI-generierte Texte auf diskriminierende Formulierungen, Stereotypen oder einseitige Bewertungen zu prüfen. Derartige Inhalte sind zu löschen und intern zu melden. Eine Weiterverwendung ist nicht zulässig.
Baustein AGG-Compliance Personalwesen:
Beim Einsatz von KI-Systemen bei der Vorauswahl von Bewerbungen oder bei sonstigen Personalentscheidungen stellt die Kanzlei sicher, dass die nach § 1 AGG geschützten Merkmale (Rasse, ethnische Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter, sexuelle Identität) keine Rolle spielen. KI-generierte Bewerbungsbewertungen werden ausnahmslos von einer qualifizierten Personalverantwortlichen oder einem qualifizierten Personalverantwortlichen überprüft, bevor eine Entscheidung getroffen wird.
Baustein Meldeverfahren:
Stellt eine Mitarbeiterin oder ein Mitarbeiter fest, dass KI-generierter Output diskriminierende oder anderweitig problematische Inhalte enthält, ist dies unverzüglich an [Name Datenschutzbeauftragter/Compliance-Verantwortlicher] zu melden. Der fehlerhafte Output ist zu dokumentieren und nicht zu verwenden.
Hinweise zur Aktualisierung
Die KI-Forschung zum Thema Bias entwickelt sich rasch weiter. Neue Erkenntnisse zur Bias-Anfälligkeit bestimmter KI-Systeme sollten in Schulungen aufgenommen werden. BAG-Entscheidungen zum AGG im Kontext von KI-Personalauswahl sowie Leitlinien der EU-Kommission zur Gleichbehandlung beim KI-Einsatz sind zu beobachten.
Aktuelle Rechtsprechung (v14.2)
- Rechtsprechung: keine Entscheidung aus Modellwissen zitieren; vor Ausgabe über offizielle oder frei zugängliche Quelle mit Gericht, Entscheidungsform, Datum, Aktenzeichen und tragender Aussage verifizieren.
Zentrale Normen (Paragrafenkette)
- § 1 AGG — Schutz vor Diskriminierung (Rasse, Geschlecht, Alter, Behinderung, Herkunft)
- § 15 AGG — Schadensersatz und Entschaedigung bei Diskriminierung
- Art. 22 DSGVO — Automatisierte Entscheidungen mit moeglichem Diskriminierungspotenzial
- Art. 5 Abs. 1 lit. c KI-VO — Verbot biometrischer Kategorisierung nach geschuetzten Merkmalen
- Art. 6 Abs. 2 i. V. m. Anhang III Nr. 4 KI-VO — Hochrisiko bei Bewerbungs-Screening, Personalauswahl und Beschäftigtenmanagement nach Zweckbestimmung
Triage zu Beginn
- Fuer welchen Zweck wird das KI-System eingesetzt — Bewerberauswahl, Mandatszuordnung, Leistungsbewertung?
- Koennen Trainingsdaten historische Diskriminierungsmuster enthalten?
- Sind schutzbeduerfte Gruppen nach AGG unverhältnismaessig betroffen?
- Wurde ein Bias-Test durchgefuehrt — und sind die Ergebnisse dokumentiert?
- Gibt es einen Widerspruchsmechanismus fuer Betroffene (Art. 22 Abs. 3 DSGVO)?
Output-Template — Bias-Pruefprotokoll
Adressat: HR / Compliance — Tonfall: strukturiert, sachlich
BIAS-PRUEFPROTOKOLL
[DATUM] — System: [SYSTEMNAME] — Anwendungsfall: [BESCHREIBUNG]
Geschuetzte Merkmale (§ 1 AGG) — Analyse:
| Merkmal | Risiko | Nachweis | Massnahme |
|---|---|---|---|
| Geschlecht | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
| Alter | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
| Herkunft / Nationalitaet | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
| Behinderung | [NIEDRIG/MITTEL/HOCH] | [TESTERGEBNIS] | [MASSNAHME] |
KI-VO Art. 5 Abs. 1 lit. c: Biometrische Kategorisierung: [NICHT VORHANDEN / PRUEFUNG ERFORDERLICH]
Anhang III Nr. 4 KI-VO: Hochrisiko: [JA / NEIN — je nach Zweckbestimmung]
Bias-Test durchgefuehrt: [JA — Methode: BESCHREIBUNG / NEIN — ERFORDERLICH]
Gesamtbewertung: [KEIN MATERIALLES BIAS / BIAS GEFUNDEN — MASSNAHMEN ERFORDERLICH]
Geprueft von: [NAME], [DATUM]
Audit-Hinweis (27.05.2026): BGH VI ZR 273/16, NJW 2019, 2385 entfernt. Urteil existiert nicht — Suchanfrage auf dejure.org ergab keinen Treffer fuer BGH VI ZR 273/16 vom 26.03.2019. Beanspruchtes Thema (Produkthaftung fuer fehlerhafte Algorithmen) ist nicht durch diese Fundstelle belegt. Quelle: dejure.org Vernetzungssuche (NOT_FOUND).
