메뉴
【仅适用于 vLLM-MindSpore，不适用于 PTA/vLLM-Ascend 等其他框架】稀疏量化模型加载与适配 - 在 vLLM-MindSpore 中加载稀疏量化模型、适配代码实现或修复常见 Bug。Triggers: '稀疏量化', '加载稀疏量化模型', 'W8A8SC', 'sparse quantization', '稀疏量化适配', '稀疏量化加载', 'sparse-quant'。
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
SOC 직업 분류 기준
| name | sparse-quantization |
| description | 【仅适用于 vLLM-MindSpore，不适用于 PTA/vLLM-Ascend 等其他框架】稀疏量化模型加载与适配 - 在 vLLM-MindSpore 中加载稀疏量化模型、适配代码实现或修复常见 Bug。Triggers: '稀疏量化', '加载稀疏量化模型', 'W8A8SC', 'sparse quantization', '稀疏量化适配', '稀疏量化加载', 'sparse-quant'。 |
vLLM-MindSpore 基于 vLLM 二次开发适配华为昇腾 NPU，稀疏量化（W8A8SC）是一种在 310P 推理机上支持的量化方案，使用 Golden Stick 量化工具链生成量化模型。
实现依据：vllm_mindspore PR !1428（W8A8SC 基础设施）、!1490（310P/910 兼容、权重加载优化、测试样例）
| Rule | Value |
|---|---|
| 量化格式 | W8A8SC（weight 8bit, activation 8bit, sparse compressed） |
| 支持推理机 | 310P（910 不支持） |
| 核心文件 | vllm_mindspore/.../golden_stick/ |
| 量化工具 | Golden Stick（msModelSlim） |
设计方案：vLLM-MindSpore 官方稀疏量化设计文档 → Native 模型支持稀疏量化设计方案与代码改动说明
文件路径 | 作用 | 关键函数
vllm_mindspore/.../golden_stick/golden_stick.py | 量化方法注册与识别 | get_quant_method(), get_config_filenames()
vllm_mindspore/.../golden_stick/a8w8sc.py | A8W8SC 线性层实现 | A8W8SCLinearMethod.create_weights()
vllm_mindspore/.../quant_ops.py | 稀疏量化算子封装 | QuantLinearSparseOp
vllm_mindspore/.../models/sparse_quant_weight_loader.py | 权重加载与 310P 格式转换 | load_split_weights(), _param_name_to_weight_key()
vllm_mindspore/.../sparse_quant_loader.py | 稀疏量化模型加载器 | SparseQuantModelLoader
vllm_mindspore/config.py | 稀疏量化配置识别 | is_sparse_quantization
vllm_mindspore/.../qwen2.py | 模型权重加载 | load_weights()
模型目录扫描
│
▼
┌─────────────────────────────────────────┐
│ 1. 配置文件识别 (golden_stick.py) │
│ - quantization_description.json │
│ - quant_model_description.json │
│ - quant_model_description_w8a8sc.json│
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ 2. 稀疏量化判断 (golden_stick.py) │
│ - 配置中存在 rank_ 开头的键 │
│ - 设置 load_format=sparse_quant │
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ 3. 推理机校验 (a8w8sc.py) │
│ - 310P: 支持稀疏量化 │
│ - 910: 报错 INFERENCE_910_SPARSE_QUANT│
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ 4. 权重加载 (sparse_quant_weight_loader)│
│ - 从 rank_{tp_rank} 目录读取权重 │
│ - deq_scale: float32 → int64(310P) │
└─────────────────────────────────────────┘
│
▼
推理就绪
<existing_optimizations>
weight、index（禁止使用 compress_weight/compress_index）QuantLinearSparseOp（quant_ops.py）
class QuantLinearSparseOp(nn.Cell):
def __init__(self, params_dtype):
super().__init__()
self.linear_sparse = ops.auto_generate.QuantLinearSparse()
def construct(self, qx, weight, deq_scale, index, quant_bias):
return self.linear_sparse(qx, weight, deq_scale, index, quant_bias)
_param_name_to_weight_key 后缀列表（含 .index）
for suffix in (".compress_weight", ".compress_index", ".deq_scale",
".quant_bias", ".input_scale", ".input_offset", ".index"):
if name.endswith(suffix):
return name[:-len(suffix)] + ".weight"
create_weights 中 filtered_attrs
filtered_attrs = {
k: v for k, v in extra_weight_attrs.items()
if k not in ("output_dim", "input_dim", "weight_loader")
}
参数插入到 layer（a8w8sc.py）
if layer is not None:
layer.insert_param_to_cell("weight", weight)
layer.insert_param_to_cell("index", index)
layer.insert_param_to_cell("deq_scale", deq_scale)
layer.insert_param_to_cell("quant_bias", quant_bias)
layer.insert_param_to_cell("input_scale", input_scale)
layer.insert_param_to_cell("input_offset", input_offset)
</existing_optimizations>
<optimization_patterns>
错误信息：
safetensors_rust.SafetensorError: index out of bounds
原因：稀疏量化权重已按 rank 切分存放于 rank_{tp_rank} 目录，但代码未检测稀疏量化，仍调用 split_loaded_weight 再次切分。
修复：在模型（如 qwen2.py）的 load_weights 开头添加检测逻辑：
def load_weights(self, weights, params_dict):
if self.quant_config is not None and hasattr(self.quant_config, "config"):
rank_id = get_tensor_model_parallel_rank()
rank_key = f"rank_{rank_id}"
if rank_key in self.quant_config.config:
sparse_config = self.quant_config.config[rank_key]
has_sparse_quant = any(
isinstance(v, str) and v.lower() == "w8a8s"
for v in sparse_config.values())
if has_sparse_quant:
return load_split_weights(weights, params_dict, self.config, self.quant_config)
错误信息：
AttributeError: The 'QKVParallelLinear' object has no attribute 'input_scale'.
原因：a8w8sc.py 的 create_weights 中缺少将参数插入到 layer 的代码。
修复：在 create_weights 函数末尾添加参数插入代码（见上方代码实现先验）
错误信息：
RuntimeError: Launch kernel failed, name: Default/FormatCast-op0
原因：
golden_stick.py 缺少关键的稀疏量化（W8A8SC）支持代码LinearBase 和 is_310p 导入A8W8SCLinearMethod 导入quantization_method_mapping 缺少 "W8A8S" 和 "W8A8SC" 映射get_config_filenames 缺少 "quant_model_description_w8a8sc.json"get_quant_method 缺少处理 rank 级别稀疏量化配置的逻辑修复：
golden_stick/golden_stick.py，确保包含以下关键修改（参考 PR !1428 和 !1490）：
LinearBase（来自 vllm_mindspore.model_executor.layers.linear）is_310p（来自 vllm_mindspore.utils）A8W8SCLinearMethod（来自 vllm_mindspore.model_executor.layers.quantization.golden_stick.a8w8sc）quantization_method_mapping 添加 "W8A8S": A8W8SCLinearMethodget_config_filenames 添加 "quant_model_description_w8a8sc.json"get_quant_method 中添加处理 rank 级别稀疏量化配置的逻辑：
rank_{rank_id} 配置weight 和 index 的 shapeRuntimeError("Sparse quantization (W8A8SC) is only supported on 310P platform...")quant_device_type 属性从配置中读取 device_typemodels/sparse_quant_weight_loader.py，确保包含以下关键修改（参考 PR !1428 和 !1490）：
is_sparse_quant_weight 函数检测权重是否为稀疏量化adjust_sparse_quant_weights_for_310p 函数处理 310P 格式转换load_split_weights 函数直接从 rank 目录加载权重（不再切分）</optimization_patterns>
在进行代码适配时，请遵循以下原则：
在修改任何代码之前，先确认当前仓库是否已有相关实现，避免重复添加已有逻辑。
稀疏量化相关代码已在多个 PR 中沉淀，优先从已有实现中复制，而非重写。
所有稀疏量化路径必须在入口处判断推理机类型（310P/910），非 310P 一律报错，不做 fallback。
weight/index 参数名是框架约定，任何别名都会导致权重加载失败，不得随意更改。
golden_stick.py 是否包含 W8A8S/W8A8SC 的 mapping？get_config_filenames 是否包含 quant_model_description_w8a8sc.json？create_weights 末尾是否有 insert_param_to_cell 调用？QuantLinearSparse 而非稠密 MatMul？| 序号 | 操作 |
|---|---|
| 1 | 确认 QuantLinearSparseOp 存在且正确 |
| 2 | 线性层使用 weight/index 参数名，前向使用 QuantLinearSparse |
| 3 | 稀疏层 create_weights 中过滤 extra_weight_attrs |
| 4 | get_quant_method 中读取 weight.shape/index.shape，非 310P 时报错 |
| 5 | process_weights_after_loading 实现 input_scale/input_offset 扩维、deq_scale 转换 |
| 6 | _param_name_to_weight_key 后缀列表含 .index |
| 7 | config 中 is_sparse_quantization 且 load_format=auto 时设 load_format=sparse_quant |
| 8 | 模型侧 has_sparse_quant 时调用 load_split_weights |
矩阵乘法矩阵乘法 A[M, K] @ B[K, N] = C[M, N]中，大K维度矩阵乘法(K>>M,N)优化：针对M/N较小但K极大(如M=N=256,K=131072)的场景，Split-K切分K维度并行化、Workspace+Reduce替代全局同步，实现显著性能提升
Triton Ascend hard API restrictions and forbidden syntax. MUST-follow rules that apply to every kernel: forbidden control flow (return/break/continue/lambda/while), tensor slice/index restrictions, scalar conversion rules, BLOCK_SIZE upper bound. Violating any of these produces a compile or runtime error on Ascend.
Triton Ascend 性能优化通用策略: BLOCK_SIZE 选择 (1024-2048 for elementwise, must be <65536), grid configuration (use VEC_CORE_NUM / CUBE_CORE_NUM, 2D/3D grid for matmul / conv / reduce, 1D grid + inner loop for elementwise / pointwise), 256B alignment for memory transfers, autotune block-size patterns, fp16 / fp32 precision conversion. Bind via keywords like matmul, elementwise, reduce, block_size, grid, autotune, alignment, fp16, fp32, tile, interleaved-loop, cube-core, vec-core.
通过 adaptive_search 或 evolve 搜索式 workflow 生成优化算子。 后台 silent mode 执行，轮询监控进度。
适用于归约(reduce)类算子和含归约子步骤的复合算子（如归一化）的优化指南。典型算子包括：sum, mean, max, min, prod, argmax, argmin, cumsum, cumprod, softmax, logsoftmax, layernorm, rmsnorm, groupnorm, instancenorm, batchnorm, l1norm, l2norm, frobeniusnorm, var, std, average_pooling, sum_pooling 等。特别重要：当归约维度不是最后一维（如 dim=1 归约 shape=[B,F,D1,D2]），需要正确处理多维索引和两阶段归约。包含 PyTorch normalized_shape 多轴归一化语义说明。不适用于纯逐元素运算或矩阵乘法。如果算子是损失函数（先逐元素计算再全局归约），应选择 elementwise-reduce-fused 指南。
CPU C++ 算子核心概念、标准结构模式、KernelBench 代码规范和内嵌扩展方法