القائمة
新規 skill SKILL.md PR で `fixtures/` と `eval/` の happy-path × guard ペアが揃っているかを確認し、欠けている場合は eval cycle (#688) に乗せる手順を案内する。
يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.
اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.
استنادا إلى تصنيف SOC المهني
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.
npx skills add https://github.com/s977043/river-review --skill eval-driven-skill-designيبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.
تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.
عرض SKILL.md
6つの専門レビュアーロールを並列実行し、consensusLevel（複数ロールの合意度）と Tech Lead レポート（top3指摘・blindSpots・consensusSummary）で結果を統合する マルチエージェントレビュー entry skill。 Parallel multi-role review with consensus scoring (consensusLevel) and Tech Lead report. Use when a major release needs exhaustive multi-angle review, or when a single-perspective review is not enough and you want confidence that no reviewer angle was missed（重要リリース前の網羅レビュー・多視点の確証が 欲しいとき）。
検査器（linter / ガード / CI ゲート / バリデータ / フィルタ）そのものの検出力が差分で静かに落ちていないか、また新設した検査が実際に検出できることが実証されているかを diff-time で検出する。Check 1 unverified detection reduction（検査器の検出ロジック（正規表現・除外パターン・解決集合・allowlist・baseline）を変更して検出件数が減ったのに、減った 1 件ずつが誤検出であった根拠が示されないまま「誤検出を潰した」「N → M 件に減少」と改善として主張している）、Check 2 unproven guard detection power（新しい検査ロジック・CI ゲート・バリデーションを追加・変更したのに、検出すべき入力を注入して検出されること／検出すべきでない入力で黙ることを示す変異注入の証跡が無く、「追加した」「CI が緑」を検出力の証拠として扱っている）、の 2 Check を対象とする report-only。テスト自身のアサーションが実質何も検証していない構造は test-assertion-effectiveness、レビュー基準・品質ゲートの明示的な弱体化（ルールの削除・閾値の引き下げ・suppression entry 追加・lint ルールの無効化）は review-criteria-integrity、リファクタ完了主張一般の検証は refactor-claim-audit、workflow の permissions と action pin は gha-workflow-security、設定ファイルの構文・型の妥当性は config-json へ委譲する
pbi-input, plan, todo, test-cases 間の整合性をチェックし、実装着手前の仕様漏れを検知する
| id | eval-driven-skill-design |
| name | Eval-Driven Skill Design |
| description | 新規 skill SKILL.md PR で `fixtures/` と `eval/` の happy-path × guard ペアが揃っているかを確認し、欠けている場合は eval cycle (#688) に乗せる手順を案内する。 |
| version | 0.1.0 |
| category | upstream |
| phase | upstream |
| applyTo | ["skills/**/SKILL.md"] |
| inputContext | ["diff","repoConfig"] |
| outputKind | ["findings","actions"] |
| modelHint | balanced |
| tags | ["skill-authoring","eval","process","upstream"] |
| severity | minor |
| dependencies | ["repo_metadata"] |
Primary pattern: Reviewer Secondary patterns: Tool Wrapper Why: 新規 skill 追加時に happy-path / guard fixture と eval 配線の有無を診断し、欠けていれば repo-wide eval (#688) に組み込む手順を案内する educator スキル。既存 skill の改修や fixture-only PR では起動しない。
skills/**/SKILL.md を追加する PR が 検出ケース (happy-path) と抑制ケース (guard) のペア を fixture として持つことを確認する。eval/promptfoo.yaml 相当の評価設定または tests/fixtures/repo-wide-eval/ への登録が用意されているかを確認する。npm run eval:fixtures / npm run eval:repo-context をどう通すかを案内する。new SKILL.md
├─ fixtures/
│ ├─ <NN>-happy.md # 検出されるべき diff（必須 1 件以上）
│ └─ <NN>-guard.md # 検出してはいけない diff（必須 1 件以上）
├─ golden/<NN>-*.md # promptfoo similar 評価用の代表出力
├─ prompt/{system,user}.md # promptfoo prompts:
└─ eval/promptfoo.yaml # contains / not-contains / llm-rubric / similar
または tests/fixtures/repo-wide-eval/ に同じ skill の {happy, guard} ケースを追加し、tests/fixtures/repo-wide-eval/cases.json に登録する形でも eval lift が測定できる。
happy / should-detect を含める。guard / false-positive / should-not-detect を含める。falsePositiveRateWith / detectionRateWith (evaluateRepoWideFixtures メトリクス) が両方測れ、後の改善で 片方だけが破綻するケース を検知できる。| 対象 | コマンド | 何が回るか |
|---|---|---|
| skill schema | npm run skills:validate | YAML frontmatter / 必須キー検証 |
| review fixtures | npm run eval:fixtures | tests/fixtures/review-eval/cases.json に登録された skill の出力検証 |
| repo-wide eval | npm run eval:repo-context | tests/fixtures/repo-wide-eval/ の context-lift / FP rate メトリクス |
| 集約 driver |
npm run eval:all |
| 上記 + planner / regression / meta を一括実行 |
ローカルで失敗したまま push しない（CI 通過のみに頼らない）。
新規 skills/**/SKILL.md の追加 diff を見たとき、次の順で確認する。
fixtures/ ディレクトリが追加されているか？
eval/promptfoo.yaml か tests/fixtures/repo-wide-eval/cases.json への配線があるか？
prompt/ や golden/ 内容のスタイル指摘（fixture / eval の有無のみを確認する）。scripts/evaluate-review-fixtures.mjs などが回す）。このスキルは以下を すべて 満たさない限り NO_REVIEW を返す。
skills/**/SKILL.md が含まれている（既存 SKILL.md の編集のみは対象外）fixtures/ または eval/ の整備状況に未確定がある（差分が prompt/system.md のみなど、明らかに整っているケースは除外）ゲート不成立時の出力:
NO_REVIEW: eval-driven-skill-design — 新規 skill 追加が検出されない、または fixture / eval は既に整備済み
Pre-execution Gate を通過した後の 個別指摘の抑制条件 に絞る。
tests/fixtures/repo-wide-eval/cases.json 編集等）がある場合、fixtures/ ディレクトリが skill 配下になくても "missing eval" として指摘しない。applyTo が **/* のみで真の対象パターンが空のドラフトであることが明らか（severity: info + tags: [draft] 等）なケースでは、fixture 必須化を促さない。代わりに「ドラフト解除前に eval を整備する」と案内する。git mv の rename detected）では片側 fixture でも許容する。findings:
- severity: minor
file: skills/midstream/rr-midstream-newcheck-001/SKILL.md
line: 1
issue: |
新規 skill `rr-midstream-newcheck-001` が追加されましたが、
`fixtures/` ディレクトリが見当たりません。happy-path × guard
のペア fixture が無いと #688 の repo-wide eval で
detectionRate / falsePositiveRate を測定できず、
後続改修時の regression を検知できません。
suggestion: |
最低限以下を追加してください。
- skills/midstream/rr-midstream-newcheck-001/fixtures/01-should-detect.md
- skills/midstream/rr-midstream-newcheck-001/fixtures/02-should-not-detect.md
評価配線は per-skill promptfoo (`eval/promptfoo.yaml`) か、
`tests/fixtures/repo-wide-eval/cases.json` への追加のいずれかを選び、
ローカルで `npm run eval:fixtures` または
`npm run eval:repo-context` が exit 0 で通ることを確認してください。
actions:
- type: 'verify'
description: 'PR merge 前にローカルで `npm run eval:all` が通ることを確認する'
src/lib/repo-wide-fixtures-eval.mjs / scripts/evaluate-review-fixtures.mjsskills/midstream/security-basic/schemas/skill.schema.jsonskills/agent-skills/river-review/references/IMPROVEMENT_LOOP.md