メニュー
SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/hiyenwong/ai_collection --skill sae-optimality-structures-dictionariesコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
SOC 職業分類に基づく
SKILL.md を表示中
| name | sae-optimality-structures-dictionaries |
| description | SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。 |
| version | 1.0.0 |
| author | William Dorrell |
| arxiv_id | 2606.02385 |
| created | 2026-06-02T00:00:00.000Z |
| category | neuroscience |
| activation_keywords | ["SAE","sparse autoencoder","optimality","dictionary learning","interpretable features","sparse coding","feature extraction","neural representation","mechanistic interpretability"] |
arXiv: 2606.02385
作者: William Dorrell
提交日期: 2026-06-01
分类: Neurons and Cognition (q-bio.NC); Machine Learning (cs.LG)
Sparse Autoencoders (SAEs) 已成功解析神经网络表征为可解释概念，为理解和控制提供了基础。然而，SAEs 究竟提取了什么，以及我们能从中得出什么科学结论，尚不明确。本文避免数据生成模型，直接研究字典学习最优性必须满足的性质，并推导最优 SAE 特征与其分布的关系。
将 Gribonval & Schnass (2010) 的局部最优性分析扩展到非负联合优化问题（vanilla SAEs 的近似目标）：
基于最优性约束，解释三种观察到的 SAE 行为：
构造新的大字典凸优化问题，探索 wide atom-per-datapoint limit：
SAE 目标（非负联合优化）：
min_{D, z} ||x - Dz||²₂ + λ||z||₁ s.t. z ≥ 0
其中：
x: 数据（神经网络激活）D: 字典（特征矩阵）z: 稀疏编码λ: L1 正则化系数推导满足局部最优的必要条件：
理论预测与实际 SAE 训练观察一致：
为 SAE 后继者提供设计原则：
mechanistic-interpretablity: SAE 在机制可解释性中的应用neural-representation-analysis: 神经表征分析框架sparse-coding-theory: 稀疏编码理论基础