菜单
Common override guidance for all skills/test_model sub-skills. Applies to LightLLM model accuracy/speed tests that use lm_eval or lmms_eval, especially local-completions GSM8K runs.
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/ModelTC/LightLLM --skill test-model-common命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
基于 SOC 职业分类
正在显示 SKILL.md
| name | test-model-common |
| description | Common override guidance for all skills/test_model sub-skills. Applies to LightLLM model accuracy/speed tests that use lm_eval or lmms_eval, especially local-completions GSM8K runs. |
本目录下所有子 skill 默认继承这些规则。若子 skill 中的命令与这里冲突，优先按这里执行； 只有在用户明确要求在线拉取数据/模型，或本地缓存缺失时，才临时关闭对应离线变量。
lm_eval 每次新进程启动都会加载 task、dataset、tokenizer 和 HuggingFace 相关模块。
实测 local-completions + gsm8k --limit 1 时，默认在线探测模式会在 tokenizer/dataset
初始化阶段等待很久；强制使用本地缓存后，启动耗时明显下降。
执行所有 lm_eval 精度测试时，默认在命令前加：
export HF_ALLOW_CODE_EVAL=1
export HF_DATASETS_OFFLINE=1
export TRANSFORMERS_OFFLINE=1
export HF_HUB_OFFLINE=1
export http_proxy=
export https_proxy=
export no_proxy=localhost,127.0.0.1,0.0.0.0,::1,${HOST:-127.0.0.1},${PD_MASTER_IP:-127.0.0.1}
export NO_PROXY="${no_proxy}"
然后再执行子 skill 中的 lm_eval 命令，例如：
lm_eval --model local-completions \
--model_args "model=${MODEL_NAME},base_url=${BASE_URL},num_concurrent=64,max_retries=3,tokenized_requests=False,tokenizer=${MODEL_DIR}" \
--tasks gsm8k \
--batch_size 64 \
--confirm_run_unsafe_code
curl warmup，确认服务端已经可用。lm_eval；使用轻量 benchmark client，避免 lm_eval 的 task/dataset/metric 初始化成本。在本机 Qwen3.5-0.8B 普通服务上，lm_eval --limit 1 实测：
| 模式 | 耗时 |
|---|---|
| 默认在线探测 | 约 123s |
| 离线缓存模式 | 约 20s |
因此，除非有明确理由，skills/test_model 下的 lm_eval 测试都应默认启用离线缓存变量。