메뉴
SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。
기본적으로 소스를 먼저 확인하는 Prompt가 선택됩니다. 직접 명령으로 전환하거나 로컬 사본을 다운로드할 수도 있습니다.
설치 여부를 결정하기 전에 SKILL.md와 SkillsMP에 표시된 보조 파일을 읽어 보세요.
Codex 또는 Claude로 설치 이 Prompt를 복사해 Codex, Claude 또는 다른 어시스턴트에 붙여 넣으면 Skill 페이지를 검토하고 설치를 진행할 수 있습니다.
직접 명령은 검토 Prompt를 거치지 않습니다. 실행하기 전에 소스를 확인하세요.
npx skills add https://github.com/hiyenwong/ai_collection --skill sae-optimality-structures-dictionaries명령은 한 줄로 유지됩니다. 복사하기 전에 가로로 스크롤해 전체 내용을 확인하세요.
로컬 사본을 원하시나요? SkillsMP에서 현재 제공할 수 있는 파일을 다운로드하세요.
Graph-native Python reimplementation of the Information Dynamics of Music (IDyOM) model that represents predictive memories as explicit graph objects for musical expectation modeling and network analysis.
Physics-aware end-to-end deep reinforcement learning methodology for quadcopter control with actuator dynamics modeling.
Reinforced Dreamer methodology for asymmetric reinforcement learning using latent guidance to improve world model representations and behaviors in model-based RL.
SOC 직업 분류 기준
SKILL.md 표시 중
| name | sae-optimality-structures-dictionaries |
| description | SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。 |
| version | 1.0.0 |
| author | William Dorrell |
| arxiv_id | 2606.02385 |
| created | 2026-06-02T00:00:00.000Z |
| category | neuroscience |
| activation_keywords | ["SAE","sparse autoencoder","optimality","dictionary learning","interpretable features","sparse coding","feature extraction","neural representation","mechanistic interpretability"] |
arXiv: 2606.02385
作者: William Dorrell
提交日期: 2026-06-01
分类: Neurons and Cognition (q-bio.NC); Machine Learning (cs.LG)
Sparse Autoencoders (SAEs) 已成功解析神经网络表征为可解释概念，为理解和控制提供了基础。然而，SAEs 究竟提取了什么，以及我们能从中得出什么科学结论，尚不明确。本文避免数据生成模型，直接研究字典学习最优性必须满足的性质，并推导最优 SAE 特征与其分布的关系。
将 Gribonval & Schnass (2010) 的局部最优性分析扩展到非负联合优化问题（vanilla SAEs 的近似目标）：
基于最优性约束，解释三种观察到的 SAE 行为：
构造新的大字典凸优化问题，探索 wide atom-per-datapoint limit：
SAE 目标（非负联合优化）：
min_{D, z} ||x - Dz||²₂ + λ||z||₁ s.t. z ≥ 0
其中：
x: 数据（神经网络激活）D: 字典（特征矩阵）z: 稀疏编码λ: L1 正则化系数推导满足局部最优的必要条件：
理论预测与实际 SAE 训练观察一致：
为 SAE 后继者提供设计原则：
mechanistic-interpretablity: SAE 在机制可解释性中的应用neural-representation-analysis: 神经表征分析框架sparse-coding-theory: 稀疏编码理论基础