| name | med-vae-cross-subject-alignment |
| title | MED-VAE: Multi-Encoder-Decoder VAE for Cross-Subject Neural Alignment |
| arxiv_id | 2606.15989 |
| authors | ["Angeliki Papathanasiou","Jascha Achterberg","Thomas E. Nichols","Rui Ponte Costa"] |
| date | 2026-06-14 |
| categories | ["q-bio.NC","cs.AI"] |
| description | Novel framework for cross-subject neural alignment without shared stimuli, using pretrained ANN as common scaffold to enable generalizable decoders and cross-subject prediction |
| tags | ["cross-subject alignment","variational autoencoder","neural decoding","transfer learning","population coding","natural scenes","visual cortex"] |
| trigger_words | ["MED-VAE","跨被试对齐","共享刺激","多编码器","神经解码","跨被试预测","预训练ANN支架","潜在空间对齐","视觉皮层","自然场景数据集"] |
MED-VAE: 跨被试神经对齐的多编码器-解码器VAE
论文概述
arXiv: https://arxiv.org/abs/2606.15989
提出首个无需共享刺激的跨被试神经对齐框架。通过预训练ANN作为共同支架，实现不同被试神经活动的潜在空间对齐，支持跨被试预测和通用解码器构建。
会议: CCN 2026 (Cognitive Computational Neuroscience)
核心问题
传统方法的局限
共享刺激要求：
- 现有对齐方法需要所有被试观看相同的刺激
- 限制在自然主义范式中的应用（数据不重叠）
- 难以扩展到大脑自然状态研究
数学表达：
传统方法：需要 {stimulus_i} 在所有被试中相同
现实约束：自然观看 = 不同被试看到不同内容
关键挑战
- 个体差异：不同被试的神经响应模式差异巨大
- 缺乏共同参考：无共享刺激时如何建立对应关系？
- 泛化性：如何构建适用于新被试的解码器？
核心创新
1. 预训练ANN作为共同支架
核心思想：
不同被试的视觉皮层 → 各自编码器 → 潜在空间
↓
预训练ANN (共同支架)
↓
重建回各自神经空间 ← 各自解码器
为什么有效：
- 预训练ANN学习了对视觉刺激的通用表征
- 不同被试的神经活动都编码相同的视觉世界
- ANN提供了一个中立的、与个体无关的参考系
技术细节：
- 使用在大规模图像数据集上预训练的视觉模型
- 提取中间层特征作为共同表示
- 不对ANN进行微调，保持其通用性
2. 多编码器-解码器架构
架构设计：
被试1数据 → Encoder_1 → 共享潜在空间 → Decoder_1 → 被试1重建
被试2数据 → Encoder_2 → 共享潜在空间 → Decoder_2 → 被试2重建
...
被试N数据 → Encoder_N → 共享潜在空间 → Decoder_N → 被试N重建
训练策略：
- 编码器训练：最大化潜在空间的对齐性
- 解码器训练：重建各自被试的神经活动
- 联合优化：端到端训练所有组件
损失函数：
L = Σ_i [L_recon_i + β*L_kl_i + α*L_alignment]
- L_recon_i: 被试i的重建误差
- L_kl_i: VAE的KL散度正则化
- L_alignment: 潜在空间对齐损失
3. 无需共享刺激的对齐机制
对齐约束：
- 潜在空间结构由预训练ANN定义
- 不同被试的编码器学习映射到同一潜在空间
- 通过重建损失保持个体特异性信息
关键洞察：
共享潜在空间 ≠ 相同的神经活动
= 相同的计算原理
实验验证
数据集
Natural Scenes Dataset (NSD)：
