| name | msmodelslim-quant |
| description | 华为昇腾 NPU 服务器模型quant工具技能，专为在昇腾 NPU 卡上进行大语言模型quant加速，聚焦于msmodelslim已验证模型的快速量化流程，支持量化流程和量化配置的轻微修改。支持 INT4/INT8/INT16 quant，提供完整的quant工作流，包括环境检查、动态方案query、容器deployment、quant执行等。 |
| keywords | ["msmodelslim","quant","model quantization","华为昇腾","Ascend","NPU","模型 compress","quant加速","INT4quant","INT8quant","大模型 deployment","昇腾NPU","华为AI","Atlas","Davinci","模型加速","权重量化","ascend","昇腾卡","npu-smi","模型 deployment","LLMquant"] |
msmodelslim-quant
华为 msmodelslim quant工具技能 - 动态 query + 容器化deployment
技能描述
本技能专为华为昇腾 NPU 服务器定制，用于在昇腾 NPU 卡上进行大语言模型的quant加速。msmodelslim 是华为昇腾生态的开源模型 compress工具，支持在昇腾 NPU 上对大模型进行 INT4/INT8/INT16 quant，显著降低模型显存占用并提升推理性能。本技能提供完整的quant工作流，包括环境检查、动态方案query、容器deployment、quant执行等。
适用场景：
- 在昇腾 NPU 服务器上进行模型quant
- 将大模型quant后deployment到昇腾 NPU 进行推理
- 优化模型性能，降低显存占用
支持的quant类型：W4A8, W4A8C8, W8A16, W8A8, W8A8S, W8A8C8, W16A16S
关键词
msmodelslim, quant, model quantization, 华为昇腾, Ascend, NPU,
模型compress, quant加速, INT4quant, INT8quant, 大模型deployment,
昇腾NPU, 华为AI, Atlas, Davinci, 模型加速, 权重量化,
ascend, 昇腾卡, npu-smi, 模型deployment, LLMquant
触发条件
当用户询问以下内容时触发：
- "quant XXX 模型"
- "XXX model quantization"
- "msmodelslim 支持 XXX"
- "XXX quant"
- 使用 msmodelslim 进行模型quant
核心原则
不要硬编码模型支持列表 - 始终动态 query 实际项目来确定可用功能
远程服务器访问
⚠️ 重要提示：如果用户的指令是在远程服务器上执行quant操作，则优先使用非交互式工具访问服务器，例如：
sshpass -p 'password' ssh user@serversshpass -f passwordfile ssh user@server- 配置 SSH Key 并使用
ssh -i keyfile user@server
避免直接使用 ssh user@server 命令，因为这会导致交互式会话，可能造成：
- 无法自动化执行quant脚本
- 模型文件传输困难
- 与远程服务器交互复杂化
建议在本地完成所有准备工作（模型下载、配置检查等），然后通过 scp 或 rsync 批量传输文件到服务器。
模型命名规范
quant后模型命名格式：{original_name}-{quant_type}-{features}
示例：
qwen2-7b-w8a8 (Qwen2-7B, W8A8量化)qwen3-32b-w8a8s-QuaRot (Qwen3-32B, W8A8稀疏量化, QuaRot特征)deepseek-v3-w4a8c8 (DeepSeek-V3, W4A8C8量化)
昇腾 NPU 服务器环境
本技能专为华为昇腾 NPU 服务器定制。在开始quant之前，请确保了解以下信息：
查看昇腾 NPU 卡信息
@scripts/npu-commands.sh
昇腾 NPU 型号参考
@references/npu-models.md
华为昇腾生态组件
@references/ecosystem.md
昇腾 NPU quant前置检查
@scripts/env-check.sh
工作流程
Step 1: 信息提取与路径确认
从用户描述中提取以下信息：
- 工作目录 (work_path): 项目文件和脚本的存放位置
- 原始模型路径 (weights_path): 原始模型权重文件的位置
- 模型名称 (model_name): 要量化的模型名称
- quant格式 (quant_format): 如 W8A8, W4A8, W8A8S 等
- 特征 (features): 可选，如 QuaRot, AWQ 等
必须与用户确认：
- 工作目录 (work_path)
- 保存路径 (save_path) - quant后模型的输出位置
Step 2: 检查/创建 msmodelslim 项目
@scripts/msmodelslim-setup.sh
Step 3: 动态query量化解决方案
@scripts/quant-queries.sh
Step 4: 容器化deployment（可选）
询问用户是否需要使用容器。如果使用：
@scripts/docker-commands.sh
Step 5: 检查模型特定环境要求
重要：安装完 msmodelslim 后，必须检查该模型是否有特殊的环境要求。这些要求通常记录在 example/{model_name}/README.md 中。
重要：在使用pip安装依赖的过程中，如果出现pip安装超时的情况，可以询问用户是否更换pip源。可以选择预置pip源：pip config set global.index-url http://mirrors.aliyun.com/pypi/simple && pip config set install.trusted-host mirrors.aliyun.com，也可以让客户输入特定的合适的源。以加速环境依赖的安装。
5.1 检查模型特定的 README
@scripts/env-check.sh
5.2 检查 README 中的环境要求
@references/quant-types.md
5.3 常见的环境检查项
@scripts/env-check.sh
5.4 应用环境更改
@scripts/env-check.sh
5.5 更新预量化报告
@templates/quant-report-template.md
Step 6: 预量化报告
@templates/quant-report-template.md
⚠️ Step 6.5: 用户交互确认（必须）
在执行quant之前，必须与用户进行交互式确认：
- 向用户展示完整的预量化报告
- 明确告知用户以下信息：
- quant命令和所有参数
- 预计耗时
- 输出目录位置
- 可能的风险
- 询问用户："报告信息是否正确？量化方案是否可以执行？"
- 只有用户明确确认后，才能进入 Step 7 执行quant
- 如果用户有任何疑问或要求修改，必须停下来解答或调整方案
⚠️ 严禁跳过此确认步骤直接执行quant，必须得到用户明确答复后才能继续。
Step 7: 执行quant
用户确认后，执行quant命令：
@scripts/quant-execute.sh
Step 8: 完成摘要
quant完成后，返回摘要：
@templates/quant-report-template.md
quant类型参考
@references/quant-types.md
动态query命令参考
query支持的模型组
query支持的quant类型
query模型适配器
@scripts/quant-queries.sh
官方资源
@references/official-resources.md
注意事项
- 动态query优先：不要假设某个模型一定支持或不支持，必须实际query项目
- 路径确认：必须与用户确认 work_path 和 save_path 后再执行
- 容器化建议：生产环境推荐使用容器，确保环境一致性
- 版本兼容性：不同版本的 msmodelslim 可能支持不同的模型和quant类型
- 硬件要求：部分quant可能需要特定的 NPU 或 GPU 硬件
- 预量化报告：执行前必须生成报告供用户确认
