kimi-k3-tech-report

name	kimi-k3-tech-report
description	Kimi K3 技术报告（Moonshot AI，2.8T MoE 开放前沿模型）蒸馏而成的可查询 skill。按需加载章节回答 K3 架构（KDA/AttnRes/Stable LatentMoE）、预训练、后训练/RL、基础设施、评估等问题。由 book-to-skill 从官方 47 页技术报告 distill。

Kimi K3 技术报告 · Skill

由 book-to-skill 从官方 k3_tech_report.pdf（47 页，docling technical 模式抽取，38K token）蒸馏。提取结构，非摘要。 用法：问"KDA 怎么工作 / Stable LatentMoE 怎么均衡负载 / K3 benchmark 强在哪" → 按需读对应 chapters/ 文件，从真实内容作答，不幻觉。

一句话心智模型

K3 = 一座 2.8 万亿参数的"城市"，沿三个方向疏通信息流，从而敢把开源模型做到 3T 级：

• 序列长度（长街） → Kimi Delta Attention（线性注意力+遗忘门）+ Gated MLA，3:1 混合
• 网络深度（高楼） → Attention Residuals：把注意力从"时间维"搬到"深度维"，每层按需取任意前层
• 模型宽度（路口） → Stable LatentMoE：896 选 16 极端稀疏 + SiTU-GLU + Quantile Balancing

核心指标：2.8T 总参 / 104B 激活 / 93 层 / 896 专家选 16 / 100 万 token 上下文 / 原生多模态。较 K2 整体扩展效率 ≈2.5×。定位：开源新王，长程 agentic 强，纯推理仍逊于 Claude Fable 5 / GPT-5.6 Sol。

章节索引（按需加载）

主题	文件	关键内容
KDA + 混合注意力	chapters/ch02-architecture-kda.md	delta-rule 递归、通道遗忘门、有下界 sigmoid decay、Gated MLA+NoPE
AttnRes 注意力残差	chapters/ch02-attnres.md	伪 query 选层、Block AttnRes 分 8 块降开销
Stable LatentMoE	chapters/ch02-latentmoe.md	潜空间路由、SiTU-GLU 软天花板、Quantile Balancing 负载均衡
预训练/Scaling	chapters/ch03-pretraining.md	数据、scaling law、长上下文扩展
后训练/RL	chapters/ch04-posttraining.md	多档推理 RL、多教师蒸馏、agentic 环境合成
基础设施	chapters/ch05-infra.md	KDA 算法-系统协同、MoonEP 专家并行、百万 token agentic RL
评估	chapters/ch06-evaluation.md	benchmark 全表 + 强弱项诚实解读

本 demo 只精蒸了最硬核的架构三章 + 评估章作为质量样本（ch02-* + 关键速查）；其余章节索引已列，按需可续蒸。

速查（决策/事实级）

• KDA vs MLA 分工：KDA 管高效长序列+位置感；MLA 管全局内容交互，用 NoPE（位置全交给 KDA）。3:1，末层必为 MLA。
• K3 相对 Kimi Linear 的关键改进：log-decay 从无界 negative-Softplus 换成有下界 scaled-sigmoid（gmin=−5） → 对角 tile 也能用 Tensor Core 稠密矩阵乘，消掉慢速位置对计算。
• 极端稀疏的三个翻车点 & 解法：①通信爆→潜空间路由；②激活爆→RMSNorm+SiTU-GLU 软天花板（β1=4/β2=25）；③负载不均→Quantile Balancing（分位数定偏置，只影响分流不影响计费）。
• 强项：SWE-Marathon 42.0(第一)、BrowseComp 91.2(第一)、MCPMark 94.5(第一)、FrontierSWE 81.2。弱项：HLE-Full 43.5（明显落后 Fable 5 的 53.3）。

术语表

见 glossary.md（KDA / AttnRes / LatentMoE / SiTU-GLU / Quantile Balancing / Gated MLA / NoPE / MoonViT-V2 / Per-Head Muon 等）。