chasmbrain-mamba-brain-reconstruction

name	chasmbrain-mamba-brain-reconstruction
description	CHASMBrain层级化Mamba架构用于图像到fMRI编码。双流Mamba设计分离全局语义token和局部空间patch处理，粗到细策略实现ROI级到voxel级预测，在NSD数据集上Pearson相关达0.429。
version	1.0.0
category	neuroscience
tags	["mamba","brain-reconstruction","fMRI-encoding","hierarchical-architecture","dual-stream","visual-cortex","neural-encoding"]
activation_keywords	["CHASMBrain","brain reconstruction","fMRI encoding","Mamba architecture","image-to-fMRI","visual cortex","hierarchical processing","dual-stream"]
source	{"arxiv_id":2606.04772,"title":"Coarse-to-fine Hierarchical Architecture with Sequential Mamba for Brain Reconstruction","authors":[],"published":"2026-06-03T00:00:00.000Z"}

CHASMBrain 层级化Mamba脑重建方法论

研究背景

理解深度视觉表征与人类视觉系统之间的关系是计算神经科学的核心挑战。现代视觉模型在图像识别上表现优异，但其与人类视觉皮层层级组织的对应性仍存疑问。

核心创新

1. 双流Mamba架构

• 全局语义流（CLS stream）: 处理全局语义token
• 局部空间流（Patch stream）: 处理局部空间patch
• 设计动机：模仿视觉皮层的功能组织

2. 粗到细两阶段策略

• Stage 1: 预测去噪的ROI级激活
• Stage 2: 使用Mamba-VAE将粗响应细化为完整voxel级预测

3. 因果分支消融实验

• 发现不对称特化：
  • Patch流锁定于早期视觉皮层（视网膜拓扑区域）
  • CLS流向高阶区域提供更广泛语义上下文

方法细节

架构设计

输入图像 → 双流Mamba编码器 → Stage 1 (ROI级) → Stage 2 (Voxel级) → fMRI预测
         │                    │
         ├─ CLS stream (全局) ├─ 去噪ROI激活
         └─ Patch stream (局部) └─ Mamba-VAE细化

关键组件

Mamba编码器

• 序列建模优势
• 高效的长序列处理
• 状态空间模型特性

Mamba-VAE

• 变分自编码器架构
• 结合Mamba的序列建模能力
• Voxel级预测细化

实验结果

Natural Scenes Dataset (NSD)

• Pearson相关系数: 0.429
• MSE: 0.261
• 优于所有评估基线（ridge回归、DINOv2线性探针）

跨被试迁移

• 学习到的主干模型跨个体泛化
• 最小化个体适应需求
• 模型捕获共享的、被试无关的视觉表征

视觉皮层对应性

不对称特化发现

• Patch流 → 早期视觉皮层

  • 视网膜拓扑区域特异性锁定
  • 局部空间特征处理

• CLS流 → 高阶视觉区域

  • 更广泛语义上下文贡献
  • 高阶语义处理

因果验证

• 通过分支消融实验验证
• 对应性因果成立，而非仅仅相关性

技术要点

Mamba架构优势

• 序列建模效率
• 长距离依赖处理
• 相比Transformer的计算效率

粗到细策略

1. ROI级粗预测降低噪声
2. Voxel级细化保持空间精度
3. 两阶段解耦优化训练

双流设计动机

• 视觉皮层双流假说对应
• 全局/局部特征分离处理
• 功能特化模块化设计

应用场景

触发条件

• 图像到fMRI编码任务
• 视觉皮层建模研究
• 神经表征对应性分析
• 跨被试迁移解码

适用范围

• 计算神经科学研究
• 视觉系统建模
• 神经编码方法开发
• 认知神经科学实验

实现指导

模型架构

# 双流Mamba编码器
class DualStreamMamba:
    cls_stream: MambaEncoder  # 全局语义
    patch_stream: MambaEncoder  # 局部空间

# 两阶段预测
class CHASMBrain:
    stage1: ROILevelPredictor
    stage2: VoxelLevelVAE

训练流程

1. Stage 1训练：ROI级去噪预测
2. Stage 2训练：Voxel级细化
3. 联合优化或分阶段训练

关键参数

• Mamba隐藏维度
• ROI定义策略
• VAE潜在空间维度

局限性与展望

当前限制

• 架构复杂度较高
• 需要大量训练数据
• ROI定义依赖先验知识

未来方向

• 简化架构设计
• 自动ROI发现
• 多模态扩展（音频、语言）
• 实时预测优化

相关技能

• [[brain-dit-fmri-foundation-model]] - Brain-DiT基础模型
• [[parallelized-hierarchical-connectome-ssm]] - 层级连接组SSM
• [[boosting-brain-to-image-tribe-v2]] - TRIBE v2数据增强

关键引用

• Natural Scenes Dataset (NSD)
• Mamba序列建模架构
• 视觉皮层双流假说

---

来源: arXiv:2606.04772v1 分类: neuroscience/computational 日期: 2026-06-03