Menu
Por padrão, está selecionado o prompt que primeiro revisa a origem. Você pode mudar para um comando direto ou baixar uma cópia local.
Leia o SKILL.md e os arquivos complementares exibidos pelo SkillsMP antes de decidir se vai instalar.
Instalar com Codex ou Claude Copie este prompt, cole no Codex, Claude ou outro assistente e deixe que ele revise a página da skill e instale para você.
Um comando direto ignora o prompt de revisão. Verifique a origem antes de executá-lo.
npx skills add https://github.com/thetahealth/mirobody-eval --skill run-benchmarkO comando permanece em uma só linha. Role horizontalmente para revisá-lo antes de copiar.
Prefere uma cópia local? Baixe os arquivos disponíveis atualmente no SkillsMP.
Exibindo SKILL.md
| name | run-benchmark |
| description | Run all benchmark test cases or a filtered subset. |
| argument-hint | <benchmark> <dataset> [options] |
运行 benchmark 跑分，对数据集中的用例批量执行评测并生成报告。
当用户要求运行 benchmark 跑分时使用此 skill。
# 语法: python -m benchmark.basic_runner <benchmark> <dataset> --target-type <type> --target-model <model> [options]
# HealthBench
python -m benchmark.basic_runner healthbench sample --target-type llm_api --target-model gpt-4.1
python -m benchmark.basic_runner healthbench hard --target-type llm_api --target-model gpt-4.1 -p 5
# MedCalc-Bench
python -m benchmark.basic_runner medcalc sample --target-type llm_api --target-model gpt-4.1
python -m benchmark.basic_runner medcalc full --target-type llm_api --target-model gpt-4.1 --limit 50
# Extraction（target 由 metadata 锁定）
python -m benchmark.basic_runner extraction simple
# 组合选项
python -m benchmark.basic_runner healthbench sample --target-type llm_api --target-model gpt-4.1 --limit 10 -p 3 -v
| 选项 | 说明 |
|---|---|
--target-type | 被测系统类型（llm_api / theta_api），必填 |
--target-model | 模型名称（如 gpt-4.1、gemini-3-pro） |
--limit N | 只跑前 N 条用例 |
--ids x,y,z | 指定用例 ID |
-p N | 并发数（默认 1） |
-v | 详细日志 |
benchmark/data/<benchmark>/<dataset>.jsonlbenchmark/report/<benchmark>/<dataset>_<target>_<timestamp>.json| 评测套件 | 数据集 | 数量 | 评估器 |
|---|---|---|---|
| healthbench | sample / hard / consensus / full | 100 ~ 5,000 | healthbench |
| medcalc | sample / full | 5 ~ 1,047 | medcalc |
| extraction | simple | 9 | preset_answer |
也可通过 Web UI 执行跑分，支持实时进度查看：
python -m web
# 访问 http://localhost:8000/tasks 创建任务
命令输出：
benchmark/report/ 目录Use when analyzing ESL-Bench evaluation reports - extracting scores by difficulty dimension, comparing methods, checking fail rates, token costs, duration per query. Triggers on keywords like eslbench report, benchmark results, group by difficulty.
集成外部 benchmark 数据集到 HolyEval 框架 — 从论文/仓库到可执行评测的端到端流程。
Scaffold a new EvalAgent plugin (config + implementation + registration).
Baseado na classificação ocupacional SOC
