القائمة
يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.
اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.
npx skills add https://github.com/thetahealth/mirobody-eval --skill run-benchmarkيبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.
تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.
Use when analyzing ESL-Bench evaluation reports - extracting scores by difficulty dimension, comparing methods, checking fail rates, token costs, duration per query. Triggers on keywords like eslbench report, benchmark results, group by difficulty.
集成外部 benchmark 数据集到 HolyEval 框架 — 从论文/仓库到可执行评测的端到端流程。
Scaffold a new EvalAgent plugin (config + implementation + registration).
استنادا إلى تصنيف SOC المهني
عرض SKILL.md
| name | run-benchmark |
| description | Run all benchmark test cases or a filtered subset. |
| argument-hint | <benchmark> <dataset> [options] |
运行 benchmark 跑分，对数据集中的用例批量执行评测并生成报告。
当用户要求运行 benchmark 跑分时使用此 skill。
# 语法: python -m benchmark.basic_runner <benchmark> <dataset> --target-type <type> --target-model <model> [options]
# HealthBench
python -m benchmark.basic_runner healthbench sample --target-type llm_api --target-model gpt-4.1
python -m benchmark.basic_runner healthbench hard --target-type llm_api --target-model gpt-4.1 -p 5
# MedCalc-Bench
python -m benchmark.basic_runner medcalc sample --target-type llm_api --target-model gpt-4.1
python -m benchmark.basic_runner medcalc full --target-type llm_api --target-model gpt-4.1 --limit 50
# Extraction（target 由 metadata 锁定）
python -m benchmark.basic_runner extraction simple
# 组合选项
python -m benchmark.basic_runner healthbench sample --target-type llm_api --target-model gpt-4.1 --limit 10 -p 3 -v
| 选项 | 说明 |
|---|---|
--target-type | 被测系统类型（llm_api / theta_api），必填 |
--target-model | 模型名称（如 gpt-4.1、gemini-3-pro） |
--limit N | 只跑前 N 条用例 |
--ids x,y,z | 指定用例 ID |
-p N | 并发数（默认 1） |
-v | 详细日志 |
benchmark/data/<benchmark>/<dataset>.jsonlbenchmark/report/<benchmark>/<dataset>_<target>_<timestamp>.json| 评测套件 | 数据集 | 数量 | 评估器 |
|---|---|---|---|
| healthbench | sample / hard / consensus / full | 100 ~ 5,000 | healthbench |
| medcalc | sample / full | 5 ~ 1,047 | medcalc |
| extraction | simple | 9 | preset_answer |
也可通过 Web UI 执行跑分，支持实时进度查看：
python -m web
# 访问 http://localhost:8000/tasks 创建任务
命令输出：
benchmark/report/ 目录