メニュー
Use when Promptbeat validate, config inspect, generate, run, eval, report, provider-file loading, environment variables, working_dir, promptfoo, or coding-agent runtime execution fails.
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/tophant-ai/aibeat --skill promptbeat-debug-runコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
Use when connecting Codex, Claude Code, OpenCode, OpenClaw, coding-agent CLIs, agent gateways, workspaces, sandbox policies, provider files, or trace capture to Promptbeat as an evaluation target.
Use when a user wants to start using a downloaded Promptbeat full package, connect an HTTP agent, LLM, coding agent, choose an evaluation path, run a first red-team test, or asks where to begin.
Use when a user needs help choosing Promptbeat attack goals, risk types, scenarios, seed files, dataset subscriptions, compliance profiles, or a small smoke-test scope.
SOC 職業分類に基づく
SKILL.md を表示中
| name | promptbeat-debug-run |
| description | Use when Promptbeat validate, config inspect, generate, run, eval, report, provider-file loading, environment variables, working_dir, promptfoo, or coding-agent runtime execution fails. |
Diagnose the failing boundary first: project config, provider override, generated promptfoo YAML, target runtime, promptfoo execution, result parsing, or report input.
| Symptom | First check |
|---|---|
missing required --config | The command needs --config <path>. |
missing required --output-dir | promptbeat run and promptbeat eval require --output-dir. |
validate config failure | Run ./bin/promptbeat config inspect --config <promptbeat.yaml> if validation gets far enough. |
working_dir does not exist | Run from repository/release root or use an absolute working_dir. |
| Env template failure | Export the referenced env var; do not paste secrets into YAML. |
| Generated cases exist but eval fails | Check whether the config is Promptbeat project YAML or generated promptfoo YAML. |
| Report fails to parse input | Confirm the input is evaluation_result.json or promptfoo-compatible result JSON. |
| Coding-agent returns no trace | Check adapter trace settings and runtime support. |
promptbeat validate --config <promptbeat.yaml> validates a Promptbeat project.promptbeat generate --config <promptbeat.yaml> --output <cases.json> writes
generated cases only.promptbeat run --config <promptbeat.yaml> --output-dir <dir> runs a
Promptbeat project pipeline.promptbeat eval --config <promptfoo.yaml> --output-dir <dir> runs an existing
promptfoo YAML.promptbeat report --input <evaluation_result.json> renders a report.Use references/common-failures.md for concrete fixes and example commands.