メニュー
Orthogonal Regularization 方法论用于混合符号-神经动力系统，防止符号结构被神经网络残余吸收，实现互补分解
デフォルトでは、最初にソースを確認する Prompt が選択されています。直接コマンドに切り替えるか、ローカルコピーをダウンロードすることもできます。
インストールを決める前に、SKILL.md と SkillsMP に表示されている付属ファイルをお読みください。
Codex または Claude でインストール この Prompt をコピーして Codex、Claude、または他のアシスタントに貼り付けると、Skill ページを確認してインストールできます。
直接コマンドでは確認用 Prompt が省略されます。実行前にソースを確認してください。
npx skills add https://github.com/hiyenwong/ai_collection --skill orthoreg-hybrid-symbolic-neural-dynamicsコマンドは1行のまま表示されます。コピー前に横へスクロールして全体を確認してください。
ローカルで確認しますか？SkillsMP が現在取得できるファイルをダウンロードできます。
Graph-native Python reimplementation of the Information Dynamics of Music (IDyOM) model that represents predictive memories as explicit graph objects for musical expectation modeling and network analysis.
Physics-aware end-to-end deep reinforcement learning methodology for quadcopter control with actuator dynamics modeling.
Reinforced Dreamer methodology for asymmetric reinforcement learning using latent guidance to improve world model representations and behaviors in model-based RL.
SOC 職業分類に基づく
SKILL.md を表示中
| name | orthoreg-hybrid-symbolic-neural-dynamics |
| description | Orthogonal Regularization 方法论用于混合符号-神经动力系统，防止符号结构被神经网络残余吸收，实现互补分解 |
| trigger_words | ["hybrid modeling","symbolic neural","dynamical systems","orthogonal regularization","physics-informed","symbolic discovery","L2 regularization","projection argument","sparse discovery","mechanistic model"] |
| paper_id | arXiv:2606.19145 |
| published | 2026-06-17T00:00:00.000Z |
| authors | Till Richter, Niki Kilbertus |
动力系统建模的持久困境：
混合建模的目标: 结合两者的优势，但面临关键挑战：神经网络可能重新学习符号部分。
标准 L² 正则化基于投影论证：
最小化 ||f_symbolic + f_neural||²
→ 约束 ||f_neural||²
当符号结构通过稀疏发现从数据中学习时：
失败案例:
# 传统方法
f_total = f_symbolic(discovered) + f_neural
# f_neural 可能学到 f_symbolic 已表达的部分
→ 冗余！不可解释！
# Orthogonal Regularization
loss = reconstruction_loss + λ * overlap_penalty
# overlap_penalty = ||⟨f_symbolic, f_neural⟩||²
# 直接测量两个组件的内积
OrthoReg 确保：
设符号组件为 $\phi_s(x)$，神经组件为 $\phi_n(x)$：
$$ \text{OrthoReg} = \lambda \int \phi_s(x) \cdot \phi_n(x) dx $$
$$ \min_{\theta} | \hat{y} - y |^2 + \lambda \cdot \text{Overlap}(\phi_s, \phi_n) $$
其中 Overlap 衡量符号与神经组件的重叠程度。
| 方法 | 适用场景 | 稀疏发现时表现 |
|---|---|---|
| L² 正则化 | 符号结构已知 | 失效（投影论证破坏） |
| OrthoReg | 符号结构学习 | 有效（直接惩罚重叠） |
L² 正则化:
OrthoReg:
在部分库不匹配场景下：
| 指标 | L² 正则化 | OrthoReg |
|---|---|---|
| 符号恢复 | 低 | 高 |
| OOD 行为 | 不稳定 | 稳定 |
| 可解释性 | 低 | 高 |
OrthoReg 在：
import torch
def orthoreg_loss(symbolic_output, neural_output):
"""
计算符号与神经输出的正交性损失
Args:
symbolic_output: 符号模型输出
neural_output: 神经网络残余输出
Returns:
overlap_penalty: 重叠惩罚
"""
# 内积度量重叠
overlap = torch.sum(symbolic_output * neural_output)
# L² 形式的重叠惩罚
overlap_penalty = overlap ** 2
return overlap_penalty
class HybridDynamicalModel:
def forward(self, x):
# 符号组件（稀疏发现）
symbolic = self.symbolic_library(x)
# 神经残余
residual = self.neural_net(x)
# 组合输出
return symbolic + residual
def loss(self, pred, target, lambda_ortho=0.1):
# 重构损失
recon = F.mse_loss(pred, target)
# 正交约束
symbolic = self.symbolic_library(self.x)
residual = self.neural_net(self.x)
ortho = orthoreg_loss(symbolic, residual)
return recon + lambda_ortho * ortho
$$ f_{total} = f_s + f_n $$
其中：
| 方法 | 符号发现支持 | 重叠预防 | 可解释性保证 |
|---|---|---|---|
| SINDy | ✓ | 间接 | ✓ |
| L² 正则化 | ✗（投影失效） | ✗ | 低 |
| OrthoReg | ✓ | ✓ | ✓ |
Till Richter, Niki Kilbertus. "OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems." arXiv:2606.19145. 2026-06-17.