| name | hochrisiko-menschliche-aufsicht-art-14 |
| title | Menschliche Aufsicht — Art. 14 KI-VO |
| description | Anbieter oder Betreiber fragt: Wie stellen wir sicher dass Menschen das Hochrisiko-KI-System wirksam beaufsichtigen und uebersteuerung ist möglich? Art. 14 KI-VO menschliche Aufsicht. Prüfraster: Verstehen der Systemfähigkeiten und Grenzen Überwachungspflichten Stop-Button-Konzept Nicht-Blinding-Schutz Kompetenzanforderungen Aufsichtspersonen Dokumentation. Output: Aufsichtskonzept und Muster-Schulungsplan für Betreiber. Abgrenzung zu betreiber-deployer-pflichten-art-26 (Betreiber-Gesamtpflichten) und hochrisiko-technische-dokumentation-art-11-und-anhang-iv. |
| author | Klotzkette |
| author_url | https://github.com/Klotzkette/claude-fuer-deutsches-recht/tree/main/ki-vo-ai-act-pruefer/skills/hochrisiko-menschliche-aufsicht-art-14 |
| license | Apache-2.0 |
| version | 0.1.1 |
| execution_mode | open |
| jurisdiction | eu |
| practice | regulatory |
| language | de |
Menschliche Aufsicht — Art. 14 KI-VO
Zweck
Art. 14 KI-VO ist eine der zentralen Schutzvorschriften für Hochrisiko-KI-Systeme: Kein Hochrisiko-KI-System darf ohne die Möglichkeit menschlicher Aufsicht betrieben werden. Dies schließt nicht aus, dass das System weitgehend automatisiert arbeitet — aber es muss jederzeit die Möglichkeit geben, einzugreifen, zu korrigieren oder zu stoppen.
Pflicht 1 — Systemseitige Maßnahmen zur menschlichen Aufsicht (Art. 14 Abs. 1 KI-VO)
Anbieter müssen Hochrisiko-KI-Systeme so konzipieren, dass sie durch natürliche Personen wirksam beaufsichtigt werden können. Die Maßnahmen zur menschlichen Aufsicht müssen in das System integriert sein, bevor es in Verkehr gebracht oder in Betrieb genommen wird.
Maßnahmen können umfassen:
- Schnittstellen, über die Aufsichtspersonen die Leistung des Systems beobachten können
- Mechanismen zur Deaktivierung (Stop-Button) oder zum Eingriff in die Systementscheidungen
- Anzeigen und Warnmeldungen bei ungewöhnlichen Ergebnissen oder Konfidenzunterschreitungen
Pflicht 2 — Verstehen der Systemfähigkeiten und -grenzen (Art. 14 Abs. 4 lit. a KI-VO)
Aufsichtspersonen müssen in der Lage sein, die Fähigkeiten und Grenzen des Systems vollständig zu verstehen. Der Anbieter muss sicherstellen, dass das System so gestaltet ist, dass dieses Verständnis möglich ist (Erklärbarkeit, Transparenz der Ausgaben).
Prüffragen:
- Liefert das System ausreichende Erklärungen oder Konfidenzwerte zu seinen Ausgaben?
- Können Aufsichtspersonen die Ausgaben sinnvoll bewerten, ohne das System zu "blind" zu vertrauen?
Pflicht 3 — Schutz vor Over-Reliance / Automation Bias (Art. 14 Abs. 4 lit. b KI-VO)
Das System muss so gestaltet sein, dass das Phänomen der übermäßigen Abhängigkeit von automatisierten Ausgaben (Automation Bias) erkannt und verhindert werden kann. Aufsichtspersonen dürfen nicht durch die Systemgestaltung dazu verleitet werden, Ausgaben unkritisch zu übernehmen.
Prüffragen:
- Gibt es Mechanismen, die Aufsichtspersonen aktiv zur Überprüfung von Ausgaben auffordern?
- Sind Ausgaben so präsentiert, dass eine kritische Bewertung erleichtert wird?
Pflicht 4 — Erkennung von Anomalien (Art. 14 Abs. 4 lit. c KI-VO)
Aufsichtspersonen müssen in der Lage sein, Anomalien, Funktionsstörungen und unerwartetes Verhalten des Systems zu erkennen und darauf zu reagieren. Das System muss entsprechende Signale liefern.
Pflicht 5 — Eingriffs- und Stopp-Möglichkeit (Art. 14 Abs. 4 lit. d KI-VO) — Stop-Button-Konzept
Das System muss jederzeit deaktiviert, abgebrochen oder seine Entscheidung durch eine Aufsichtsperson überschrieben werden können. Diese Funktion muss technisch zuverlässig und für Aufsichtspersonen zugänglich sein.
