원클릭으로 Manus에서 모든 스킬 실행

toadapt-tutor-response-evaluation

스타0

포크0

업데이트2026년 7월 9일 04:35

Pädagogische Qualitätsbewertung der LLM-Tutor-Antworten in ToAdapt nach der NAACL-2025-Taxonomie (Maurya et al., "Unifying AI Tutor Evaluation") - acht Dimensionen, LLM-as-Judge, Human-Validierung, Desirability-Quoten. Lade diese Skill, wenn du (a) messen willst, wie gut die Chat-Agenten oder Denkanstöße pädagogisch antworten ("verrät der Agent Lösungen?", "sind Antworten actionable?"), (b) scripts/evaluate_tutor_responses.py bedienen willst (Erhebung, Annotation-Workbook, Aggregation), (c) einen Agent-/Formative-Prompt geändert hast und den Pflicht-Regressionsnachweis brauchst, (d) ein TUTOR-Modell auswählen oder wechseln willst (OPENROUTER_MODEL) und Kandidaten vergleichen musst, oder (e) die Judge-Verlässlichkeit gegen menschliche Annotation validieren willst. Keywords - Tutor-Evaluation, NAACL, MRBench, Mistake Identification, Revealing of the Answer, Providing Guidance, Actionability, Tutor Tone, Humanlikeness, Desirability, Pedagogical Ability, LLM-as-Judge, Modellwahl.

설치

Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.

Manus에서 실행

출처

koizachek

koizachek/ToAdapt

GitHub 저장소 열기 Creator 저장소 보기

다운로드

Manus에서 실행

Tutor-Antwort-Evaluation (NAACL-2025-Framework)

Stand: 2026-07-09. Bewertet wird die Qualität der LLM-Antworten an Studierende (Chat-Agenten + Denkanstöße) — nicht die Studierenden- Leistung (dafür: toadapt-judge-alignment-campaign). Framework: Maurya et al., NAACL 2025, "Unifying AI Tutor Evaluation" (Repo: github.com/kaushal0494/UnifyingAITutorEvaluation, Guidelines CC BY-SA 4.0). Implementierung: backend/evaluator/tutor_eval.py + scripts/evaluate_tutor_responses.py. Alles läuft OFFLINE über geloggte Events — kein Eingriff in den Live-Betrieb (Änderungsklasse D).

Wann diese Skill NICHT gilt

Punktevergabe an Studierende / Judge-Kalibrierung: toadapt-judge-alignment-campaign.
Guardrail-Pattern-Tests (hartes Blocken von Framework-Namen etc.): toadapt-proof-and-analysis-toolkit Methode 4 — Guardrails verhindern Verstöße mechanisch, diese Skill MISST pädagogische Qualität graduell.
Lernstand der Studierenden über Zeit: toadapt-knowledge-tracing.

1. Die acht Dimensionen (Original-Skalen)

Dimension	Frage	Labels	Erwünscht
mistake_identification	Erkennt der Tutor den Fehler/die Fehlvorstellung?	Yes / To some extent / No / Not applicable	Yes
mistake_location	Zeigt er, WO genau das Denken hakt?	wie oben	Yes
revealing_of_the_answer	Verrät er die Lösung/Empfehlung?	Yes (and correct) / Yes (but incorrect) / No	No
providing_guidance	Gibt er korrekte, relevante Hilfestellung?	Yes / To some extent / No	Yes
actionability	Ist klar, was die Person als Nächstes tut?	wie oben	Yes
coherence	Passt die Antwort logisch zum Gespräch?	wie oben	Yes
tutor_tone	Ton der Antwort	Encouraging / Neutral / Offensive	Encouraging
humanlikeness	Klingt es natürlich, nicht templated?	Yes / To some extent / No	Yes

Dokumentierte Adaptionen ans Scaffolding-Setting (im Modul-Docstring): (1) Not applicable für die Mistake-Dimensionen — anders als MathDial enthält nicht jede Studierenden-Nachricht einen Fehler; NA fließt NICHT in die Desirability ein. (2) "Answer" = konkrete Lösung/Empfehlung/ Priorisierung zur Case-Aufgabe. (3) ToAdapt-Doktrin: JEDES Enthüllen ist unerwünscht (desired = "No"), egal ob korrekt.

Desirability-Quote pro Dimension = Anteil erwünschter Labels an allen gültigen (ohne NA/Invalid) — die zentrale Kennzahl, ausgewiesen gesamt und pro Agent-Typ (metacognitive/strategic/conceptual/procedural/ formative_feedback).

2. Erhebung und Auswertung (Kommandos)

Datenquelle: Export der experiment_events (chat_turn_completed enthält user_message + assistant_message + agent_type; formative_feedback_requested enthält draft_text + feedback — draft_text wird seit 2026-07-09 geloggt).

# 1) Sichten, was bewertet würde (keine LLM-Calls, keine Kosten)
python scripts/evaluate_tutor_responses.py --events <events.json> --include-feedback --dry-run

# 2) Kostenprobe, dann voller Judge-Lauf (echte LLM-Calls!)
python scripts/evaluate_tutor_responses.py --events <events.json> --limit 50
python scripts/evaluate_tutor_responses.py --events <events.json> --include-feedback

# 3) Nur neu aggregieren (aus vorhandener JSONL, kostenlos)
python scripts/evaluate_tutor_responses.py --aggregate-only <tutor_eval_*.jsonl>

Outputs (Default data/prolific_runs/derived/tutor_eval/, gitignored): tutor_eval_<ts>.jsonl (pro Turn: Labels + Ein-Satz-Begründungen), _summary.json + _summary.csv (Semikolon; Desirability je Dimension × Scope). Ungültige Judge-Labels werden als Invalid gezählt und im Skript-Output gemeldet — viele Invalids = Judge-Modell wechseln, nicht Daten schönreden.

3. Judge-Verlässlichkeit: Human-Validierung (Pflicht vor Vertrauen)

Bevor Desirability-Quoten als Evidenz gelten, den LLM-Judge gegen menschliche Annotation prüfen — dasselbe Blind-Protokoll wie beim Teacher-Alignment:

python scripts/evaluate_tutor_responses.py --events <events.json> --annotation-workbook

erzeugt tutor_annotation_<ts>_blind.xlsx (Sheet annotation mit leeren Label-Spalten, Sheet labels mit Definitionen und erlaubten Werten). ~30 Turns von Hand labeln, Join über die stabile tutor_item_id ({session}:{nnn} bzw. {submission}:{qid}:{n}), prozentuale Übereinstimmung pro Dimension rechnen (Metrik-Disziplin: toadapt-proof-and-analysis-toolkit). Faustregel aus dem Paper-Kontext: Dimensionen mit schwacher Mensch-Judge-Übereinstimmung nur mit Human-Stichprobe berichten, nicht automatisiert.

4. Einsatz 1 — Regressionspflicht bei Prompt-Änderungen (Klasse A)

Jede Änderung an Agent-Prompts (backend/agents/orchestrator.py), am formativen Prompt (backend/evaluator/formative_feedback.py) oder an Guardrail-Fallback-Texten braucht neben der Guardrail-Regression den Tutor-Eval-Vergleich:

Fixes Sample einfrieren (z.B. 100 Turns, dieselbe Events-Datei).
Baseline-Quoten VOR der Änderung (liegt nach Rollout-Workflow W3 vor).
Nach der Änderung: Transkripte mit neuem Prompt erzeugen (Staging), identisch bewerten, Quoten vergleichen.
Nicht verhandelbar: revealing_of_the_answer-Desirability darf nicht sinken. Verschlechtert sich eine Dimension deutlich (> ~5 Punkte), zurück ans Prompt — "liest sich besser" zählt nicht.

5. Einsatz 2 — Modellwahl fürs Tutor-LLM (OPENROUTER_MODEL)

Kandidaten-Vergleich, bevor das produktive Tutor-Modell gewechselt wird:

Festes Prompt-Set (z.B. 50 Studierenden-Nachrichten aus echten Events).
Pro Kandidat in Staging Antworten erzeugen (OPENROUTER_MODEL setzen).
Alle Transkripte mit DEMSELBEN Judge-Modell bewerten (Skript-Flag --model erlaubt umgekehrt auch Judge-Vergleiche — nie beides gleichzeitig variieren!).
Entscheidung entlang: Desirability-Profil (Reveal-Disziplin zuerst, dann Guidance/Actionability), Guardrail-Trigger-Rate, Kosten/Turn (llm_call_completed-Tokens), Latenz.
Modellwechsel ist Klasse A und — falls dasselbe Modell auch der Bewertungs-Judge ist — Klasse B (Alignment-Recheck, siehe toadapt-judge-alignment-campaign).

Provenance und Wartung

Erstellt 2026-07-09 (HEAD 64b62f9). Taxonomie, Skalen und Adaptionen gegen backend/evaluator/tutor_eval.py verifiziert; Skript-Modi gegen scripts/evaluate_tutor_responses.py (Dry-Run + Workbook mit synthetischen Events getestet; Tests: tests/test_tutor_eval.py, 8 Stück).

Re-Verifikation bei Drift:

Dimensionen/Labels: grep -n "TUTOR_EVAL_DIMENSIONS\|desired" backend/evaluator/tutor_eval.py | head
Skript-CLI: python scripts/evaluate_tutor_responses.py --help
Event-Felder: grep -n "draft_text\|assistant_message" backend/api/routes.py
Limit Denkanstöße: grep -n "MAX_FEEDBACK_PER_QUESTION" backend/evaluator/formative_feedback.py

이 저장소의 다른 Skills

같은 저장소

toadapt-config-and-flags

koizachek/ToAdapt

Katalog aller Env-Variablen (Backend + Frontend) und aller Magic Numbers im ToAdapt-Repo, plus TP_CONFIGS/TP_SCHEDULE-Anatomie und die Checkliste "Neue Config-Achse hinzufügen". Lade diese Skill, wenn du (a) eine Umgebungsvariable suchst, setzt, umbenennst oder ihre Wirkung verstehen musst (OPENROUTER_*, TOADAPT_API_KEY, STUDENT_ACCESS_CODE, PSEUDONYM_SECRET, RESEARCH_API_KEY, MONGODB_*, ALLOWED_ORIGINS, WEB_CONCURRENCY, TEACHER_*, NEXT_PUBLIC_API_URL), (b) ein hardcodiertes Limit/Schwellwert änderst (max_tokens, Punktbänder, Wortlimits, Rate-Limits, Timeouts, Feedback-Schwellen), (c) Symptome wie "401/503 auf Teacher-Endpoints", "Session-404 bei mehreren Workern", "Studenten-API öffentlich erreichbar", "Warnung student_flow_open", "falsche TP-Phase" debuggst, oder (d) eine neue Konfigurationsachse einführen willst. Keywords: env, .env, Environment Variable, Flag, Config, Magic Number, Schwellwert, Threshold, TP_CONFIGS, TP_SCHEDULE, Railway Variables, Vercel Environment.

2026-07-170

toadapt-validation-and-qa

koizachek/ToAdapt

Validierung und Qualitätssicherung im ToAdapt-Repo: Was als Evidenz für eine Änderung zählt (CI < Smoke < Guardrail-Regression < Teacher-Alignment), Landkarte aller pytest-Tests, das Golden-Case-Inventar (alpes-bank-genai-001 + Rubric-JSONs als kalibrierte Artefakte), Copy-Paste-Muster zum Ergänzen neuer Tests, CI-Anatomie inkl. PYTHONPATH-Falle, Akzeptanz-Schwellen. Lade diese Skill, wenn du: (a) vor einem Commit/Push wissen willst, welche Prüfungen Pflicht sind und wie man sie lokal ausführt; (b) einen neuen Test schreiben willst (TestClient, Mongo-Env wegräumen, LLM mocken, Stores auf tmp_path patchen); (c) den Judge/Evaluator/Prompts geändert hast und wissen musst, welcher Nachweis akzeptiert wird; (d) Tests fehlschlagen (z. B. ModuleNotFoundError backend, 2-Sekunden-Hänger, 90-Tests-Baseline verletzt); (e) den Golden Case oder eine Rubric-JSON anfassen willst; (f) fragst "reicht dieser Beweis?" oder "welcher Test deckt X ab?". Keywords: pytest, ruff, CI, ci.yml, TestClient, monkeypatch, Golden Case, Rubr

2026-07-170

bwl-scaffolding-reference

koizachek/ToAdapt

Domänen-Referenz für ToAdapt (BWL-A-Transfer-Trainer, Universität St.Gallen). Lade diese Skill, wenn du BWL-didaktische Begriffe im Code verstehen musst: Bloom-Taxonomie / bloom_level / Lernziel-Tags, Touchpoints (TP1–TP4), TP_CONFIGS, Constructive Alignment, Scaffolding vs. Answer-Giving, die vier Agenten (metacognitive/strategic/conceptual/procedural), Guardrails und Guardrail-Fallbacks, pfadoffene Rubrics, Business Model Canvas / canvas_alignment / rubric_fit / Exemplar, das Assessment-Modell (Individuum im Tool, Gruppen-Aggregate beim Tutor, group_code, Pseudonymisierung), formative Live-Unterstützung (Denkanstoß, Canvas-Abdeckung, Selbst-Check), warum "ON Running" und "NORDIC HOME" verboten sind, oder Projektjargon wie ÜGL, Matrikelnummer / Teilnehmer-ID, technical_fallback. Typische Symptome: "Was bedeutet dieses Feld im Rubric-JSON?", "Warum darf der Agent keinen Framework-Namen sagen?", "Wie wird canvas_alignment_pct berechnet?", "Was ist q4/Bloom 6?".

2026-07-100

toadapt-architecture-contract

koizachek/ToAdapt

Lade diese Skill, BEVOR du in ToAdapt eine Architektur-Entscheidung triffst, hinterfragst oder versehentlich rückgängig machst. Trigger: du willst WebSockets/Streaming einführen; du fragst dich, wo Chat-History oder Session-State liegt; du willst einen neuen Store/eine neue Collection bauen; du änderst Auth (X-API-Key, Student-Access-Code, X-Research-Key, Teacher-Cookie mit Tutor-Kennung, Proxy); du änderst Guardrails oder wunderst dich, warum eine Agent-Antwort komplett ersetzt wurde; du fragst "warum ist das so gebaut?"; du suchst die Liste der Invarianten oder der bekannten offenen Schwachstellen (Keyword-Routing, TP4-Lücke, per-Worker-Rate-Limits). Enthält: Ist-Architektur-Diagramm, die 4 Auth-Pfade, 6 tragende Entscheidungen mit WARUM+Commit-Beleg, harte Invarianten, ehrliche Schwachstellenliste.

2026-07-100

toadapt-build-and-env

koizachek/ToAdapt

Entwicklungsumgebung für das ToAdapt-Repo (FastAPI-Backend + Next.js-Frontend) von Null aufbauen. Lade diese Skill, wenn du (a) das Repo frisch geklont hast und Backend/Frontend zum Laufen bringen willst, (b) Symptome wie "ModuleNotFoundError: No module named 'backend'" bei pytest, "mongo_logger_unavailable" im Log, fehlende pytest/pytest-asyncio-Pakete oder eine leere/fehlende .env siehst, (c) wissen willst, welche Python-/Node-Version gilt, wie docker-compose lokal Mongo bereitstellt oder warum load_dotenv VOR den Imports stehen muss (E402-Ignores), oder (d) prüfen willst, ob die Umgebung "steht" (Tests grün, uvicorn bootet, /health antwortet). Keywords: setup, install, venv, pip, requirements.txt, npm ci, .env, .env.local, docker-compose, pytest, tsc, ruff, mypy, Python 3.11, Node 22.

2026-07-100

toadapt-change-control

koizachek/ToAdapt

Lade diese Skill, BEVOR du in ToAdapt irgendetwas änderst, committest, pushst oder deployst. Sie klassifiziert jede Änderung (studierendensichtbares Verhalten, Judge/Scoring, Infra/Deploy, Forschungs-Skripte) und nennt das jeweils verpflichtende Gate. Sie enthält die unverhandelbaren Regeln des Projekts mit Rationale und dem historischen Vorfall dahinter. Trigger: "darf ich das ändern?", Prompt-/Guardrail-/Evaluator-Änderung, Case-Freigabe, force/override, Commit-Message schreiben, git push, Deploy auf Railway/Vercel, Env-Variable scharf schalten, PII/Teilnehmerdaten, Auth-Änderung, Wortlimits, "quick fix auf main", --force push, Rebase/History-Umschreiben.

2026-07-100

name

toadapt-tutor-response-evaluation

description

Tutor-Antwort-Evaluation (NAACL-2025-Framework)

Wann diese Skill NICHT gilt

Punktevergabe an Studierende / Judge-Kalibrierung: toadapt-judge-alignment-campaign.
Guardrail-Pattern-Tests (hartes Blocken von Framework-Namen etc.): toadapt-proof-and-analysis-toolkit Methode 4 — Guardrails verhindern Verstöße mechanisch, diese Skill MISST pädagogische Qualität graduell.
Lernstand der Studierenden über Zeit: toadapt-knowledge-tracing.

1. Die acht Dimensionen (Original-Skalen)

Dimension	Frage	Labels	Erwünscht
mistake_identification	Erkennt der Tutor den Fehler/die Fehlvorstellung?	Yes / To some extent / No / Not applicable	Yes
mistake_location	Zeigt er, WO genau das Denken hakt?	wie oben	Yes
revealing_of_the_answer	Verrät er die Lösung/Empfehlung?	Yes (and correct) / Yes (but incorrect) / No	No
providing_guidance	Gibt er korrekte, relevante Hilfestellung?	Yes / To some extent / No	Yes
actionability	Ist klar, was die Person als Nächstes tut?	wie oben	Yes
coherence	Passt die Antwort logisch zum Gespräch?	wie oben	Yes
tutor_tone	Ton der Antwort	Encouraging / Neutral / Offensive	Encouraging
humanlikeness	Klingt es natürlich, nicht templated?	Yes / To some extent / No	Yes

2. Erhebung und Auswertung (Kommandos)

# 1) Sichten, was bewertet würde (keine LLM-Calls, keine Kosten)
python scripts/evaluate_tutor_responses.py --events <events.json> --include-feedback --dry-run

# 2) Kostenprobe, dann voller Judge-Lauf (echte LLM-Calls!)
python scripts/evaluate_tutor_responses.py --events <events.json> --limit 50
python scripts/evaluate_tutor_responses.py --events <events.json> --include-feedback

# 3) Nur neu aggregieren (aus vorhandener JSONL, kostenlos)
python scripts/evaluate_tutor_responses.py --aggregate-only <tutor_eval_*.jsonl>

3. Judge-Verlässlichkeit: Human-Validierung (Pflicht vor Vertrauen)

Bevor Desirability-Quoten als Evidenz gelten, den LLM-Judge gegen menschliche Annotation prüfen — dasselbe Blind-Protokoll wie beim Teacher-Alignment:

python scripts/evaluate_tutor_responses.py --events <events.json> --annotation-workbook

4. Einsatz 1 — Regressionspflicht bei Prompt-Änderungen (Klasse A)

Fixes Sample einfrieren (z.B. 100 Turns, dieselbe Events-Datei).
Baseline-Quoten VOR der Änderung (liegt nach Rollout-Workflow W3 vor).
Nach der Änderung: Transkripte mit neuem Prompt erzeugen (Staging), identisch bewerten, Quoten vergleichen.
Nicht verhandelbar: revealing_of_the_answer-Desirability darf nicht sinken. Verschlechtert sich eine Dimension deutlich (> ~5 Punkte), zurück ans Prompt — "liest sich besser" zählt nicht.

5. Einsatz 2 — Modellwahl fürs Tutor-LLM (OPENROUTER_MODEL)

Kandidaten-Vergleich, bevor das produktive Tutor-Modell gewechselt wird:

Festes Prompt-Set (z.B. 50 Studierenden-Nachrichten aus echten Events).
Pro Kandidat in Staging Antworten erzeugen (OPENROUTER_MODEL setzen).
Alle Transkripte mit DEMSELBEN Judge-Modell bewerten (Skript-Flag --model erlaubt umgekehrt auch Judge-Vergleiche — nie beides gleichzeitig variieren!).
Entscheidung entlang: Desirability-Profil (Reveal-Disziplin zuerst, dann Guidance/Actionability), Guardrail-Trigger-Rate, Kosten/Turn (llm_call_completed-Tokens), Latenz.
Modellwechsel ist Klasse A und — falls dasselbe Modell auch der Bewertungs-Judge ist — Klasse B (Alignment-Recheck, siehe toadapt-judge-alignment-campaign).

Provenance und Wartung

Re-Verifikation bei Drift:

Dimensionen/Labels: grep -n "TUTOR_EVAL_DIMENSIONS\|desired" backend/evaluator/tutor_eval.py | head
Skript-CLI: python scripts/evaluate_tutor_responses.py --help
Event-Felder: grep -n "draft_text\|assistant_message" backend/api/routes.py
Limit Denkanstöße: grep -n "MAX_FEEDBACK_PER_QUESTION" backend/evaluator/formative_feedback.py