| name | pruefungs-validitaet-checker |
| description | Überprüfe eine geplante Beurteilung auf Konstruktvalidität, Reliabilität und Ausrichtung auf Lernziele. Nutze dies vor der Durchführung zur Qualitätssicherung. |
| disable-model-invocation | false |
| user-invocable | true |
| effort | medium |
| skill_id | schule-lehrplan-beurteilung/pruefungs-validitaet |
| skill_name | Prüfungs-Validität Checker |
| domain | curriculum-assessment |
| version | 1.0 |
| evidence_strength | strong |
| evidence_sources | ["Wiliam (2011) — Embedded Formative Assessment","Messick (1989) — Validity in educational measurement: a unified validity framework","Kane (2006) — Validation as argument-based approach","Brookhart (2003) — Developing measurement theory for classroom assessment purposes and uses","Stobart (2008) — Testing Times: the uses and abuses of assessment"] |
| input_schema | {"required":[{"field":"assessment_description","type":"string","description":"Beschreibung der geplanten Beurteilung — was die SuS tun, wie es bewertet wird"},{"field":"intended_learning","type":"string","description":"Was die Beurteilung messen soll"},{"field":"student_level","type":"string","description":"Alter/Jahrgangsstufe"}],"optional":[{"field":"subject_area","type":"string","description":"Das Schulfach"},{"field":"assessment_purpose","type":"string","description":"Formativ, summativ, diagnostisch oder evaluativ"},{"field":"marking_approach","type":"string","description":"Wie wird bewertet — Raster, Punkte, holistisches Urteil"},{"field":"stakes","type":"string","description":"Konsequenzen der Beurteilung — geringe oder hohe Relevanz"}]} |
| output_schema | {"type":"object","fields":[{"field":"validity_analysis","type":"object","description":"Analyse der Konstruktvalidität, Inhaltsvalidität und Konsequenzvalidität"},{"field":"reliability_analysis","type":"string","description":"Analyse der Bewerter-Reliabilität und inneren Konsistenz"},{"field":"threats_identified","type":"array","description":"Spezifische Validitätsrisiken mit Erklärungen"},{"field":"recommendations","type":"array","description":"Konkrete Massnahmen zur Behebung der Risiken"}]} |
| chains_well_with | ["kriterienraster-generator","formative-assessment-technique-selector","kompetenz-entpacker","rueckwaerts-planung"] |
| teacher_time | 3 Minuten |
| tags | ["validität","reliabilität","beurteilungsdesign","qualitätssicherung","messung"] |
Prüfungs-Validität Checker
Was diesen Skill leistet
Bewertet eine geplante Beurteilung nach drei Dimensionen: Validität (misst sie wirklich, was sie messen soll?), Reliabilität (würden verschiedene Lehrpersonen das gleiche Resultat vergeben?), und Authentizität (fordert die Aufgabe echte Leistung oder bloss Wiedergabe?). Das Resultat identifiziert Validitätsrisiken – konstruktsfremde Varianz (die Beurteilung misst etwas anderes), Konstruktsmangel (nicht alle Aspekte des Lernziels werden erfasst), und Konsequenzvalidität (unbeabsichtigte Auswirkungen) – und macht konkrete, umsetzbare Verbesserungsvorschläge. KI ist hier wertvoll, weil die meisten Lehrperson-erstellten Beurteilungen Validitätsrisiken enthalten, die ohne explizite Rahmen unsichtbar sind. Eine Beurteilung zu "Leseverständnis" könnte unbewusst eine Schreibbeurteilung werden; eine "Verständnis-Naturwissenschaft"-Aufgabe könnte vor allem Sprachfähigkeit testen.
Grundlagen
Messick (1989) vereinheitlichte das Validitätskonzept: Validität ist keine Eigenschaft eines Tests, sondern der Interpretation und Anwendung der Ergebnisse. Ein Test ist nicht abstrakt "valide" oder "nicht valide" – er ist valide FÜR einen bestimmten Zweck mit einer bestimmten Gruppe. Jede Beurteilung muss gegen ihre beabsichtigte Verwendung überprüft werden. Wiliam (2011) zeigte, dass das häufigste Validitätsrisiko in Klassenzimmer-Beurteilungen konstruktsfremde Varianz ist: Die Aufgabe misst etwas anderes als beabsichtigt. Ein Referat zu "Klimawandel-Verständnis" misst möglicherweise Präsentationsfähigkeit, Nervosität und Gruppenarbeit stärker als Fachwissen. Kane (2006) argumentiert, dass Validität eine Argumentationskette ist: Aufgabe → Antwort → Bewertung → Interpretation → Entscheidung. Jedes schwache Glied ist ein Risiko. Brookhart (2003) zeigt, dass Klassenzimmer-Beurteilungen nicht alle psychometrischen Standards erfüllen müssen, aber dennoch belegen müssen, dass sie messen, was sie versprechen. Stobart (2008) warnt vor Konsequenzvalidität: Wenn eine Beurteilung Oberflächenlernen, Prüfungsangst oder strategisches Verhalten fördert statt echtes Engagement, ist sie konsequenzbezogen nicht valide.
Input-Schema
Die Lehrperson muss liefern:
- Beurteilungsbeschreibung: Was die SuS tun und wie es bewertet wird. z.B. "SuS schreiben einen 500-Wort-Aufsatz zu den Ursachen des Ersten Weltkriegs, bewertet anhand eines Rasters mit vier Kriterien: historisches Wissen, analytisches Argument, Quellennutzung, schriftliche Kommunikation" / "30-Fragen Multiple-Choice-Test zur Photosynthese" / "SuS erstellen ein Poster zu gesunder Ernährung und präsentieren es der Klasse"
- Intendiertes Lernen: Was die Beurteilung messen soll. z.B. "Verständnis der Ursachen des Ersten Weltkriegs und Fähigkeit, ein historisches Argument aufzubauen" / "Wissen und Verständnis der Photosynthese" / "Verständnis von Ernährung und gesundem Lebensstil"
- Alter/Stufe.
