orthoreg-hybrid-symbolic-neural-dynamics

name	orthoreg-hybrid-symbolic-neural-dynamics
description	Orthogonal Regularization 方法论用于混合符号-神经动力系统，防止符号结构被神经网络残余吸收，实现互补分解
trigger_words	["hybrid modeling","symbolic neural","dynamical systems","orthogonal regularization","physics-informed","symbolic discovery","L2 regularization","projection argument","sparse discovery","mechanistic model"]
paper_id	arXiv:2606.19145
published	2026-06-17T00:00:00.000Z
authors	Till Richter, Niki Kilbertus

OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems

核心问题

动力系统建模的持久困境：

• 符号模型: 可解释但过于简化、误指定
• 神经方法: 灵活但缺乏物理洞察

混合建模的目标: 结合两者的优势，但面临关键挑战：神经网络可能重新学习符号部分。

传统 L² 正则化的局限性

投影论证

标准 L² 正则化基于投影论证：

最小化 ||f_symbolic + f_neural||²
→ 约束 ||f_neural||²

核心问题

当符号结构通过稀疏发现从数据中学习时：

• L² 的投影论证失效
• 神络网络残余可能与符号结构重叠
• 导致冗余且不可解释的模型

失败案例:

# 传统方法
f_total = f_symbolic(discovered) + f_neural
# f_neural 可能学到 f_symbolic 已表达的部分
→ 冗余！不可解释！

OrthoReg 核心创新

直接惩罚重叠

# Orthogonal Regularization
loss = reconstruction_loss + λ * overlap_penalty

# overlap_penalty = ||⟨f_symbolic, f_neural⟩||²
# 直接测量两个组件的内积

互补分解保证

OrthoReg 确保：

• 符号部分: 捕获库所能表达的
• 神经部分: 捕获剩余部分
• 两者互补: 不重叠，不冗余

数学框架

正交约束

设符号组件为 $\phi_s(x)$，神经组件为 $\phi_n(x)$：

$$ \text{OrthoReg} = \lambda \int \phi_s(x) \cdot \phi_n(x) dx $$

优化目标

$$ \min_{\theta} | \hat{y} - y |^2 + \lambda \cdot \text{Overlap}(\phi_s, \phi_n) $$

其中 Overlap 衡量符号与神经组件的重叠程度。

与 L² 正则化对比

方法	适用场景	稀疏发现时表现
L² 正则化	符号结构已知	失效（投影论证破坏）
OrthoReg	符号结构学习	有效（直接惩罚重叠）

关键区别

L² 正则化:

• 隐式假设符号结构固定
• 投影论证依赖固定基
• 稀疏发现时基变化 → 论证失效

OrthoReg:

• 直接测量符号-神经重叠
• 不依赖投影论证
• 稀疏发现时仍有效

实验结果

基准动力系统

在部分库不匹配场景下：

指标	L² 正则化	OrthoReg
符号恢复	低	高
OOD 行为	不稳定	稳定
可解释性	低	高

关键发现

OrthoReg 在：

1. 符号发现: 更准确地恢复物理结构
2. 分布外行为: 更好的泛化能力
3. 模型可解释性: 真正的互补分解

技术实现

正交性度量

import torch

def orthoreg_loss(symbolic_output, neural_output):
    """
    计算符号与神经输出的正交性损失
    
    Args:
        symbolic_output: 符号模型输出
        neural_output: 神经网络残余输出
    
    Returns:
        overlap_penalty: 重叠惩罚
    """
    # 内积度量重叠
    overlap = torch.sum(symbolic_output * neural_output)
    
    # L² 形式的重叠惩罚
    overlap_penalty = overlap ** 2
    
    return overlap_penalty

训练流程

class HybridDynamicalModel:
    def forward(self, x):
        # 符号组件（稀疏发现）
        symbolic = self.symbolic_library(x)
        
        # 神经残余
        residual = self.neural_net(x)
        
        # 组合输出
        return symbolic + residual
    
    def loss(self, pred, target, lambda_ortho=0.1):
        # 重构损失
        recon = F.mse_loss(pred, target)
        
        # 正交约束
        symbolic = self.symbolic_library(self.x)
        residual = self.neural_net(self.x)
        ortho = orthoreg_loss(symbolic, residual)
        
        return recon + lambda_ortho * ortho

应用场景

科学发现

• 物理定律发现: 从数据中学习方程
• 生物系统建模: 符号机制 + 神经修正
• 化学反应动力学: 可解释的混合模型

工程应用

• 控制系统: 符号控制律 + 神经自适应
• 机器人: 物理模型 + 学习残余
• 气候建模: 已知机制 + 学习偏差

理论基础

投影空间几何

• 符号基: $\mathcal{B}_s = {\phi_1, \phi_2, ..., \phi_n}$（稀疏发现）
• 神经空间: $\mathcal{N} = \text{span}(f_n)$
• 正交约束: $\mathcal{B}_s \perp \mathcal{N}$

互补分解

$$ f_{total} = f_s + f_n $$

其中：

• $f_s \in \text{span}(\mathcal{B}_s)$
• $f_n \perp \mathcal{B}_s$
• $\langle f_s, f_n \rangle = 0$

与相关方法对比

方法	符号发现支持	重叠预防	可解释性保证
SINDy	✓	间接	✓
L² 正则化	✗（投影失效）	✗	低
OrthoReg	✓	✓	✓

参考文献

Till Richter, Niki Kilbertus. "OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems." arXiv:2606.19145. 2026-06-17.

Activation

• dynamical systems
• hybrid modeling
• symbolic neural
• orthogonal regularization
• physics-informed
• sparse discovery
• mechanistic learning