메뉴
LLM生成システムの検証設計スキル。assay-kitフレームワークを活用し、LLM特有の失敗モード（幻覚、例への過学習、部分的処理）を考慮した総合的なテストケース設計を支援する。使用タイミング: LLMベースのワークフロー/エージェントの評価設計時、ゴールデンデータセット（golden-dataset.yaml）の設計・拡張時、既存テストが特定パターンに過学習していないか検証時、LLM出力の品質スコアラー設計時、「なぜこのテストケースが必要か」の根拠を示す時。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | llm-eval-designer |
| context | fork |
| description | LLM生成システムの検証設計スキル。assay-kitフレームワークを活用し、LLM特有の失敗モード（幻覚、例への過学習、部分的処理）を考慮した総合的なテストケース設計を支援する。使用タイミング: LLMベースのワークフロー/エージェントの評価設計時、ゴールデンデータセット（golden-dataset.yaml）の設計・拡張時、既存テストが特定パターンに過学習していないか検証時、LLM出力の品質スコアラー設計時、「なぜこのテストケースが必要か」の根拠を示す時。 |
LLM生成システムの検証を設計するためのガイド。
# 1. 検証対象の機能を特定
target_function: "テキスト置換"
# 2. 不変条件を定義
invariant: "入力テキストAをBに変換、他は不変"
# 3. 失敗モードを列挙（→ references/failure-modes.md）
failure_modes:
- example_overfitting # プロンプト例への過学習
- hallucination # 幻覚（存在しない内容の生成）
- partial_processing # 部分的処理
# 4. 汎化テスト設計（→ references/generalization-patterns.md）
# 5. テストケース生成（→ references/test-case-templates.md）
LLM特有の失敗パターンを特定。詳細は failure-modes.md。
| 失敗モード | 検出方法 | 対策テスト |
|---|---|---|
| 例への過学習 | 例と異なる入力でテスト | 同カテゴリ別例、異カテゴリ例 |
| 幻覚 | 入出力差分の厳密検証 | 入力に存在しない内容チェック |
| 部分的処理 | 全マッチの網羅性検証 | 複数出現、複数ブロック |
| 指示誤解釈 | 境界条件テスト | 類似だが異なる指示 |
プロンプト例への過学習を防ぐテスト設計。詳細は generalization-patterns.md。
プロンプトに例Xがある場合：
├─ Xと同カテゴリの別例Y, Zでテスト
├─ Xと異なるカテゴリの例A, Bでテスト
└─ テスト入力 ∩ プロンプト例 = ∅ を保証
変数の直交組み合わせでテストケースを生成：
操作種別 × 入力形態 × 出現パターン × ブロック種別
↓
ペアワイズ法で組み合わせ削減
↓
優先度付きテストケース生成
多面的な品質評価。詳細は scorer-design.md。
| スコアラー | 測定対象 | 閾値例 |
|---|---|---|
| operation-accuracy | 操作種別・数の正確性 | 80% |
| target-block-precision | ターゲット特定の正確性 | 75% |
| content-quality | 生成内容のパターンマッチ | 60% |
| anti-hallucination | 幻覚の不在 | 100% |
# ✗ Bad: プロンプト例と同じ入力でテスト
prompt_example: "カート → Cart"
test_input: "カート → Cart" # 過学習を検出できない
# ✓ Good: プロンプト例と異なる入力でテスト
prompt_example: "カート → Cart"
test_inputs:
- "ユーザー → 利用者" # 同カテゴリ（カタカナ）別例
- "効率化 → 最適化" # 異カテゴリ（漢字）
- "API → インターフェース" # 異カテゴリ（英語）
# ✗ Bad: 単一パターンのみ許容
expectedContentPatterns:
- "要約"
# ✓ Good: LLMの非決定性を考慮した複数パターン
expectedContentPatterns:
- "要約|まとめ|サマリー"
デザインシステムの構築・運用を体系的に行うスキル。ドキュメント（要件定義・ブランドガイドライン）からDesign Tokens・コンポーネント体系・ガバナンスまでを一貫して設計する。思考フレームワーク（Double Diamond・Atomic Design・Design Tokens 3層）の適用、暗黙的デザイン判断の形式知化（DDR/QOC/RFC）、UIインベントリ収集（手動+MCP自動化）を統合する。ゼロから体系的に構築する用途向け。既存の単発UIから再利用可能な構造を抽出するにはrelational-design-pluginのdesign-system-backflowスキルを使用すること。Use when: 「デザインシステムを構築して」「デザインシステムを設計して」「デザイントークンを定義して」「デザイン原則を策定して」「UIインベントリを作って」「デザインガバナンスを設計して」「デザイン判断を記録して」と言われた時。
iOS/Androidモバイルアプリのデザインを体系的に行うスキル。Apple HIG・Material Design 3などプラットフォームガイドラインに準拠し、ナビゲーション・レイアウト・コンポーネント・モーション・アクセシビリティを適切に設計する。デザイン判断の観察・関係・仮説・撤回可能性をtraceとして残したい場合はrelational-design-pluginを使用すること。Use when: 「モバイルアプリをデザインして」「iOSアプリのUIを設計して」「Androidアプリの画面を作って」「モバイルのナビゲーションを設計して」「タッチUIを改善して」「アプリのアクセシビリティを対応して」と言われた時。
Webアプリの個別画面・コンポーネントのデザインを体系的に行うスキル。デザインプロセス・レイアウト・コンポーネント設計・インタラクション・アクセシビリティなどWebデザインの確立された手法を適用する。デザインシステム全体の構築・運用はdesign-system-builderスキルを使用すること。デザイン判断の観察・関係・仮説・撤回可能性をtraceとして残したい場合はrelational-design-pluginを使用すること。Use when: 「Webアプリをデザインして」「UIを設計して」「画面をデザインして」「レスポンシブ対応して」「アクセシビリティを改善して」「コンポーネントを設計して」「カラーパレットを決めて」と言われた時。
Use this skill when a design assumption, user segment, business goal, constraint, or product requirement has changed and you need to analyze which design hypotheses, decisions, artifacts, copy, or components should be retracted or revised. Requires a Relational Design trace session with recorded observations/relations/hypotheses/decisions to analyze against — not a general "redo this design" request.
Use this skill to critique an existing UI, frontend implementation, wireframe, flow, or visual design through Relational Design relations: user state, business intent, action risk, trust, information density, reversibility, accessibility, and implementation constraints. This is a relation-based critique, not a general design-methodology review — for platform-guideline or design-system compliance review, use design-plugin instead.
Use this skill after creating or reviewing a design artifact to extract reusable design-system knowledge: semantic tokens, components, variants, interaction rules, copy patterns, accessibility constraints, and governance notes. This only backflows structure out of an artifact that already exists — to build or govern a design system from scratch (Design Tokens layers, Atomic Design, DDR/QOC/RFC, UI inventory), use design-plugin's design-system-builder instead.