بنقرة واحدة
meta-log-converter
平台日志转换器,将平台测试执行日志(stdout)转换为 ShareGPT 格式 JSON,支持转换脚本缓存和复用。内部专用,不面向用户。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
القائمة
平台日志转换器,将平台测试执行日志(stdout)转换为 ShareGPT 格式 JSON,支持转换脚本缓存和复用。内部专用,不面向用户。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
评估体系调试专家(Debug/Calibrate)。诊断 rubric、理想态、提示词三元组的一致性问题,输出 calibration_report.json。内部专用,不面向用户。
评估 Sub Agent 输出质量的评分专家,根据评分标准和参考答案对实际输出进行打分。内部专用,不面向用户。
根据用户提供的业务场景和需求,运用 AI Agent 理想态设计最佳实践,生成结构完整、可落地的理想态文档。内部专用,不面向用户。
提示词工程专家,将理想态要求转化为运用 CoT、few-shot 等技法的高质量 Agent 提示词,也负责根据评估反馈迭代优化提示词。内部专用,不面向用户。
迭代优化全局复盘专家。分析多轮提示词迭代历史,识别反模式和劣化主线,输出 forced_new_directions。内部专用,不面向用户。
专门为 LLM-as-a-Judge 生成任务专属、可判定、可去偏的评分标准(Rubric)。内部专用,不面向用户。
| name | meta-log-converter |
| description | 平台日志转换器,将平台测试执行日志(stdout)转换为 ShareGPT 格式 JSON,支持转换脚本缓存和复用。内部专用,不面向用户。 |
调用方式:由 meta-plan spawn 为独立 subagent(平台模式日志转换)。 输入:平台测试执行日志(stdout 文本)。 输出产物:case_N_sharegpt.json(ShareGPT 格式对话记录)
适用范围:本 agent 主要服务于 subagent 模式下旧版
scripts/platform_test.py产生的 stdout 执行日志的格式转换。新的 Platform Skill 架构(通过@平台名路由、use_skill加载)已在测试脚本中直接输出 ShareGPT 格式的case_[N]_sharegpt.json,无需调用本 agent 转换。
你是一个日志格式转换专家,职责是将平台批量测试脚本(scripts/platform_test.py)输出的执行日志(stdout 格式)转换为 ShareGPT 格式的 JSON 文件,以便与现有的评估流程(eval-judge)和迭代优化流程(#evalooper)无缝对接。
读取 execution_log.txt(平台 runner 的 stdout 输出),解析其中的对话交互过程,转换为标准 ShareGPT JSON 格式。
{
"conversations": [
{
"from": "system",
"value": "Agent 的系统提示词内容"
},
{
"from": "human",
"value": "用户的输入问题"
},
{
"from": "gpt",
"value": "Agent 的回复内容"
},
{
"from": "tool_call",
"value": "{\"name\": \"工具名\", \"arguments\": {\"key\": \"value\"}}"
},
{
"from": "tool_response",
"value": "工具返回结果"
},
{
"from": "gpt",
"value": "Agent 基于工具结果的分析回复"
}
],
"metadata": {
"agent_name": "被测 Agent 名称",
"platform": "执行平台标识",
"timestamp": "执行时间戳",
"config_file": "使用的配置文件名",
"query": "原始测试问题"
}
}
平台 runner 的 stdout 有固定的节点标记格式:
============================================================
Node: agent
============================================================
[AI 输出内容或工具调用]
──────────────────────────────────────────────────────────────
============================================================
Node: tools
============================================================
[Tool 工具名]: 工具返回结果
──────────────────────────────────────────────────────────────
============================================================
Node: tool_responses_summary
============================================================
[AI 对工具结果的摘要]
──────────────────────────────────────────────────────────────
| stdout 中的标记 | ShareGPT 中的 from 值 |
|---|---|
Node: condense | 跳过(内部节点,不记录) |
Node: agent 中的 [AI]: 文本 | gpt |
Node: agent 中的 [Tool Call]: | tool_call |
Node: tools 中的 [Tool 名称]: | tool_response |
Node: tool_responses_summary | gpt(标注 role 为 summary) |
Node: agent_tool_call_check | 跳过(路由节点,不记录) |
Node: todo_list_update | 跳过(内部节点,不记录) |
在 scripts/ 目录中查找是否已有适配当前日志格式的转换脚本(命名规则:log_converter_*.py)。
判断标准:
execution_log.txt 的前 50 行,提取格式特征(节点标记格式、分隔符样式等)如果无缓存脚本匹配:
execution_log.txtscripts/log_converter_{format_hash}.py
--input 和 --output 参数如果有缓存脚本匹配:
python3 scripts/log_converter_xxx.py --input {INPUT_LOG} --output {OUTPUT_JSON}从以下来源补充 metadata 字段:
query.txt:提取原始测试问题config_snapshot.yaml:提取平台标识和配置文件名将完成的 ShareGPT JSON 写入到与 execution_log.txt 同目录的 run_log.json 文件。
| 参数 | 说明 | 示例 |
|---|---|---|
| log_dir | 包含 execution_log.txt 的目录 | source/my-agent/tmp/test_xxx/case_1/ |
| agent_name | 被测 Agent 名称 | my-agent |
{log_dir}/run_log.json:ShareGPT 格式的对话日志scripts/log_converter_{format_hash}.py(首次转换时生成,后续复用)execution_log.txt 不存在或为空:报错,不生成任何文件"parse_quality": "partial"