القائمة
pass@kメトリクスでAIコード生成の品質を評価。Capability/Regression評価をサポート。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
Architecture Decision Records作成ガイド。技術選定・設計判断のドキュメント化に使用。
MUSUBIX学習済み17ベストプラクティスガイド。コード・設計・テストパターンの適用に使用。
C4モデル設計ドキュメント作成ガイド。アーキテクチャ図・コンポーネント設計に使用。
設計仕様からコード生成ガイド。実装・機能作成に使用。
自動ドメイン検出・コンポーネント推論ガイド。プロジェクトドメイン特定に使用。
EARS形式要件の検証・作成ガイド。要件記述・構文検証に使用。
| name | eval-harness |
| description | pass@kメトリクスでAIコード生成の品質を評価。Capability/Regression評価をサポート。 |
| license | MIT |
| version | 1.1.0 |
| triggers | ["/eval","機能評価","回帰テスト"] |
要約: AIコード生成の品質を定量的に評価。pass@kメトリクスと複数の評価タイプをサポート。
WHEN 新機能の品質評価が必要
DO 以下のフォーマットで定義
[CAPABILITY EVAL: <feature-name>]
Task: <達成タスク>
Success Criteria:
- [ ] 基準1
- [ ] 基準2
- [ ] 基準3
Expected Output: <期待出力>
Test Command: <テストコマンド>
WHEN 既存機能の品質維持を確認
DO 以下のフォーマットで定義
[REGRESSION EVAL: <feature-name>]
Baseline: <Git SHA / チェックポイント>
Tests:
- test-1: PASS/FAIL
- test-2: PASS/FAIL
Result: X/Y passed (previously Y/Y)
Regression: Yes/No
| メトリクス | 定義 | 用途 |
|---|---|---|
| pass@1 | 初回試行成功率 | 基本信頼度 |
| pass@3 | 3回中1回以上成功 | 一般ターゲット |
| consecutive@3 | 3回連続成功 | クリティカルパス |
計算:
pass@1 = 成功数 / 試行数
pass@k = 1 - C(n-c, k) / C(n, k)
consecutive@3 = 連続成功シーケンス数 / 可能シーケンス数
レポート例:
📊 Eval Report: user-auth
━━━━━━━━━━━━━━━━━━━━
pass@1: 80% (8/10)
pass@3: 95%
consecutive@3: 60%
━━━━━━━━━━━━━━━━━━━━
Status: ✅ Meets target
| タイプ | 説明 | 使用場面 |
|---|---|---|
| Code-Based | コマンド実行で判定 | 決定的な検証 |
| Model-Based | LLMで判定 | 自由形式の評価 |
| Human | 人手で判定 | 主観的品質評価 |
[HUMAN GRADE: <feature>]
Reviewer: @username
Checklist:
- [ ] 仕様を満たしている
- [ ] エッジケース考慮
- [ ] API互換性維持
- [ ] セキュリティ問題なし
Verdict: PASS/FAIL
Notes: [コメント]