القائمة
SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。
يُحدَّد Prompt الذي يراجع المصدر أولًا بشكل افتراضي. يمكنك التبديل إلى أمر مباشر أو تنزيل نسخة محلية.
اقرأ SKILL.md وأي ملفات مرافقة يعرضها SkillsMP قبل أن تقرر التثبيت.
استنادا إلى تصنيف SOC المهني
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
يتجاوز الأمر المباشر Prompt المخصّص للمراجعة. افحص المصدر قبل تشغيله.
npx skills add https://github.com/hiyenwong/ai_collection --skill sae-optimality-structures-dictionariesيبقى الأمر في سطر واحد. مرّر أفقيًا لمراجعته كاملًا قبل النسخ.
تفضّل نسخة محلية؟ نزّل الملفات المتاحة حاليًا لدى SkillsMP.
عرض SKILL.md
Graph-native Python reimplementation of the Information Dynamics of Music (IDyOM) model that represents predictive memories as explicit graph objects for musical expectation modeling and network analysis.
Physics-aware end-to-end deep reinforcement learning methodology for quadcopter control with actuator dynamics modeling.
Reinforced Dreamer methodology for asymmetric reinforcement learning using latent guidance to improve world model representations and behaviors in model-based RL.
| name | sae-optimality-structures-dictionaries |
| description | SAE 最优性结构理论 - 解释 Sparse Autoencoders 如何从最优性条件提取可解释特征。涵盖层次分裂与吸收、残差结构、密集对立特征等现象的理论基础。 |
| version | 1.0.0 |
| author | William Dorrell |
| arxiv_id | 2606.02385 |
| created | 2026-06-02T00:00:00.000Z |
| category | neuroscience |
| activation_keywords | ["SAE","sparse autoencoder","optimality","dictionary learning","interpretable features","sparse coding","feature extraction","neural representation","mechanistic interpretability"] |
arXiv: 2606.02385
作者: William Dorrell
提交日期: 2026-06-01
分类: Neurons and Cognition (q-bio.NC); Machine Learning (cs.LG)
Sparse Autoencoders (SAEs) 已成功解析神经网络表征为可解释概念，为理解和控制提供了基础。然而，SAEs 究竟提取了什么，以及我们能从中得出什么科学结论，尚不明确。本文避免数据生成模型，直接研究字典学习最优性必须满足的性质，并推导最优 SAE 特征与其分布的关系。
将 Gribonval & Schnass (2010) 的局部最优性分析扩展到非负联合优化问题（vanilla SAEs 的近似目标）：
基于最优性约束，解释三种观察到的 SAE 行为：
构造新的大字典凸优化问题，探索 wide atom-per-datapoint limit：
SAE 目标（非负联合优化）：
min_{D, z} ||x - Dz||²₂ + λ||z||₁ s.t. z ≥ 0
其中：
x: 数据（神经网络激活）D: 字典（特征矩阵）z: 稀疏编码λ: L1 正则化系数推导满足局部最优的必要条件：
理论预测与实际 SAE 训练观察一致：
为 SAE 后继者提供设计原则：
mechanistic-interpretablity: SAE 在机制可解释性中的应用neural-representation-analysis: 神经表征分析框架sparse-coding-theory: 稀疏编码理论基础