菜单
SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。
默认使用会先检查来源的 Prompt；你也可以切换为直接命令，或下载本地副本。
决定是否安装前，请先阅读 SKILL.md，以及 SkillsMP 当前展示的配套文件。
用 Codex 或 Claude 帮你安装 复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。
直接命令不会经过审查 Prompt；运行前请先检查来源。
npx skills add https://github.com/hiyenwong/ai_collection --skill sae-optimality-structures-dictionaries命令会保持在同一行。复制前请横向滚动并检查完整内容。
想先保存到本地？可下载 SkillsMP 当前能够提供的文件。
Graph-native Python reimplementation of the Information Dynamics of Music (IDyOM) model that represents predictive memories as explicit graph objects for musical expectation modeling and network analysis.
Physics-aware end-to-end deep reinforcement learning methodology for quadcopter control with actuator dynamics modeling.
Reinforced Dreamer methodology for asymmetric reinforcement learning using latent guidance to improve world model representations and behaviors in model-based RL.
基于 SOC 职业分类
正在显示 SKILL.md
| name | sae-optimality-structures-dictionaries |
| description | SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。 |
| version | 1.0.0 |
| author | William Dorrell |
| arxiv_id | 2606.02385 |
| created | 2026-06-02T00:00:00.000Z |
| category | neuroscience |
| activation_keywords | ["SAE","sparse autoencoder","optimality","dictionary learning","interpretable features","sparse coding","feature extraction","neural representation","mechanistic interpretability"] |
arXiv: 2606.02385
作者: William Dorrell
提交日期: 2026-06-01
分类: Neurons and Cognition (q-bio.NC); Machine Learning (cs.LG)
Sparse Autoencoders (SAEs) 已成功解析神经网络表征为可解释概念，为理解和控制提供了基础。然而，SAEs 究竟提取了什么，以及我们能从中得出什么科学结论，尚不明确。本文避免数据生成模型，直接研究字典学习最优性必须满足的性质，并推导最优 SAE 特征与其分布的关系。
将 Gribonval & Schnass (2010) 的局部最优性分析扩展到非负联合优化问题（vanilla SAEs 的近似目标）：
基于最优性约束，解释三种观察到的 SAE 行为：
构造新的大字典凸优化问题，探索 wide atom-per-datapoint limit：
SAE 目标（非负联合优化）：
min_{D, z} ||x - Dz||²₂ + λ||z||₁ s.t. z ≥ 0
其中：
x: 数据（神经网络激活）D: 字典（特征矩阵）z: 稀疏编码λ: L1 正则化系数推导满足局部最优的必要条件：
理论预测与实际 SAE 训练观察一致：
为 SAE 后继者提供设计原则：
mechanistic-interpretablity: SAE 在机制可解释性中的应用neural-representation-analysis: 神经表征分析框架sparse-coding-theory: 稀疏编码理论基础