メニュー
新規 skill SKILL.md PR で `fixtures/` と `eval/` の happy-path × guard ペアが揃っているかを確認し、欠けている場合は eval cycle (#688) に乗せる手順を案内する。
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/s977043/river-review --skill eval-driven-skill-designコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
6つの専門レビュアーロールを並列実行し、consensusLevel（複数ロールの合意度）と Tech Lead レポート（top3指摘・blindSpots・consensusSummary）で結果を統合する マルチエージェントレビュー entry skill。 Parallel multi-role review with consensus scoring (consensusLevel) and Tech Lead report. Use when a major release needs exhaustive multi-angle review, or when a single-perspective review is not enough and you want confidence that no reviewer angle was missed（重要リリース前の網羅レビュー・多視点の確証が 欲しいとき）。
検査器（linter / ガード / CI ゲート / バリデータ / フィルタ）そのものの検出力が差分で静かに落ちていないか、また新設した検査が実際に検出できることが実証されているかを diff-time で検出する。Check 1 unverified detection reduction（検査器の検出ロジック（正規表現・除外パターン・解決集合・allowlist・baseline）を変更して検出件数が減ったのに、減った 1 件ずつが誤検出であった根拠が示されないまま「誤検出を潰した」「N → M 件に減少」と改善として主張している）、Check 2 unproven guard detection power（新しい検査ロジック・CI ゲート・バリデーションを追加・変更したのに、検出すべき入力を注入して検出されること／検出すべきでない入力で黙ることを示す変異注入の証跡が無く、「追加した」「CI が緑」を検出力の証拠として扱っている）、の 2 Check を対象とする report-only。テスト自身のアサーションが実質何も検証していない構造は test-assertion-effectiveness、レビュー基準・品質ゲートの明示的な弱体化（ルールの削除・閾値の引き下げ・suppression entry 追加・lint ルールの無効化）は review-criteria-integrity、リファクタ完了主張一般の検証は refactor-claim-audit、workflow の permissions と action pin は gha-workflow-security、設定ファイルの構文・型の妥当性は config-json へ委譲する
pbi-input, plan, todo, test-cases 間の整合性をチェックし、実装着手前の仕様漏れを検知する
SOC 職業分類に基づく
SKILL.md を表示中
| id | eval-driven-skill-design |
| name | Eval-Driven Skill Design |
| description | 新規 skill SKILL.md PR で `fixtures/` と `eval/` の happy-path × guard ペアが揃っているかを確認し、欠けている場合は eval cycle (#688) に乗せる手順を案内する。 |
| version | 0.1.0 |
| category | upstream |
| phase | upstream |
| applyTo | ["skills/**/SKILL.md"] |
| inputContext | ["diff","repoConfig"] |
| outputKind | ["findings","actions"] |
| modelHint | balanced |
| tags | ["skill-authoring","eval","process","upstream"] |
| severity | minor |
| dependencies | ["repo_metadata"] |
Primary pattern: Reviewer Secondary patterns: Tool Wrapper Why: 新規 skill 追加時に happy-path / guard fixture と eval 配線の有無を診断し、欠けていれば repo-wide eval (#688) に組み込む手順を案内する educator スキル。既存 skill の改修や fixture-only PR では起動しない。
skills/**/SKILL.md を追加する PR が 検出ケース (happy-path) と抑制ケース (guard) のペア を fixture として持つことを確認する。eval/promptfoo.yaml 相当の評価設定または tests/fixtures/repo-wide-eval/ への登録が用意されているかを確認する。npm run eval:fixtures / npm run eval:repo-context をどう通すかを案内する。new SKILL.md
├─ fixtures/
│ ├─ <NN>-happy.md # 検出されるべき diff（必須 1 件以上）
│ └─ <NN>-guard.md # 検出してはいけない diff（必須 1 件以上）
├─ golden/<NN>-*.md # promptfoo similar 評価用の代表出力
├─ prompt/{system,user}.md # promptfoo prompts:
└─ eval/promptfoo.yaml # contains / not-contains / llm-rubric / similar
または tests/fixtures/repo-wide-eval/ に同じ skill の {happy, guard} ケースを追加し、tests/fixtures/repo-wide-eval/cases.json に登録する形でも eval lift が測定できる。
happy / should-detect を含める。guard / false-positive / should-not-detect を含める。falsePositiveRateWith / detectionRateWith (evaluateRepoWideFixtures メトリクス) が両方測れ、後の改善で 片方だけが破綻するケース を検知できる。| 対象 | コマンド | 何が回るか |
|---|---|---|
| skill schema | npm run skills:validate | YAML frontmatter / 必須キー検証 |
| review fixtures | npm run eval:fixtures | tests/fixtures/review-eval/cases.json に登録された skill の出力検証 |
| repo-wide eval | npm run eval:repo-context | tests/fixtures/repo-wide-eval/ の context-lift / FP rate メトリクス |
| 集約 driver |
npm run eval:all |
| 上記 + planner / regression / meta を一括実行 |
ローカルで失敗したまま push しない（CI 通過のみに頼らない）。
新規 skills/**/SKILL.md の追加 diff を見たとき、次の順で確認する。
fixtures/ ディレクトリが追加されているか？
eval/promptfoo.yaml か tests/fixtures/repo-wide-eval/cases.json への配線があるか？
prompt/ や golden/ 内容のスタイル指摘（fixture / eval の有無のみを確認する）。scripts/evaluate-review-fixtures.mjs などが回す）。このスキルは以下を すべて 満たさない限り NO_REVIEW を返す。
skills/**/SKILL.md が含まれている（既存 SKILL.md の編集のみは対象外）fixtures/ または eval/ の整備状況に未確定がある（差分が prompt/system.md のみなど、明らかに整っているケースは除外）ゲート不成立時の出力:
NO_REVIEW: eval-driven-skill-design — 新規 skill 追加が検出されない、または fixture / eval は既に整備済み
Pre-execution Gate を通過した後の 個別指摘の抑制条件 に絞る。
tests/fixtures/repo-wide-eval/cases.json 編集等）がある場合、fixtures/ ディレクトリが skill 配下になくても "missing eval" として指摘しない。applyTo が **/* のみで真の対象パターンが空のドラフトであることが明らか（severity: info + tags: [draft] 等）なケースでは、fixture 必須化を促さない。代わりに「ドラフト解除前に eval を整備する」と案内する。git mv の rename detected）では片側 fixture でも許容する。findings:
- severity: minor
file: skills/midstream/rr-midstream-newcheck-001/SKILL.md
line: 1
issue: |
新規 skill `rr-midstream-newcheck-001` が追加されましたが、
`fixtures/` ディレクトリが見当たりません。happy-path × guard
のペア fixture が無いと #688 の repo-wide eval で
detectionRate / falsePositiveRate を測定できず、
後続改修時の regression を検知できません。
suggestion: |
最低限以下を追加してください。
- skills/midstream/rr-midstream-newcheck-001/fixtures/01-should-detect.md
- skills/midstream/rr-midstream-newcheck-001/fixtures/02-should-not-detect.md
評価配線は per-skill promptfoo (`eval/promptfoo.yaml`) か、
`tests/fixtures/repo-wide-eval/cases.json` への追加のいずれかを選び、
ローカルで `npm run eval:fixtures` または
`npm run eval:repo-context` が exit 0 で通ることを確認してください。
actions:
- type: 'verify'
description: 'PR merge 前にローカルで `npm run eval:all` が通ることを確認する'
src/lib/repo-wide-fixtures-eval.mjs / scripts/evaluate-review-fixtures.mjsskills/midstream/security-basic/schemas/skill.schema.jsonskills/agent-skills/river-review/references/IMPROVEMENT_LOOP.md