| name | neurrate-neural-semantic-narration |
| description | NEURRATOR (神经叙述器) - 从单个神经元活动生成自然语言描述的框架,实现单细胞分辨率视觉语义叙述 |
| version | 1.0.0 |
| category | neuroscience |
| tags | ["neural-encoding","single-neuron","natural-language","clip","multimodal","mouse-visual-cortex"] |
| arxiv | 2606.18667 |
| activation_words | ["神经元叙述","neurator","单细胞分辨率","神经编码","视觉语义","CLIP嵌入","Neuropixel"] |
NEURRATOR: Neural Semantic Narration at Single-Cell Resolution
Core Concept
从单个神经元活动生成自由形式自然语言叙述 - 开创性框架将神经脉冲活动解码为对观看场景的自然语言描述,实现单神经元分辨率级别的语义表征理解。
Key Innovation
- 学习编码器: 将任意神经元子集的脉冲序列映射到CLIP patch-embedding空间
- 冻结多模态LLM: 从CLIP嵌入生成自然语言描述
- 稀疏自编码器验证: 无语言端训练,纯视觉驱动
- 分子定义细胞类型: 从遗传标记的抑制性细胞类型解码视觉贡献
Technical Architecture
class NEURRATOR:
def __init__(self):
self.spike_encoder = SpikeToCLIPEncoder()
self.multimodal_llm = FrozenCLIPLLM()
self.sae_validator = SparseAutoencoder()
def narrate(self, spike_trains, neuron_subset):
clip_embeddings = self.spike_encoder(spike_trains, neuron_subset)
description = self.multimodal_llm.generate(clip_embeddings)
validated = self.sae_validator.validate(description)
return validated
Experimental Results
- 数据集: Neuropixel记录的小鼠视觉皮层(自然电影观看)
- 规模: 从数千神经元到单神经元叙述
- 应用: 量化解码保真度与群体大小和皮质区域的关系
- 发现: 分子定义的抑制性细胞类型贡献特定视觉特征
Biological Insight
"神经叙述" (Neurration) - 将细胞身份从分类目标转变为视觉系统的功能性探针,提供神经系统中生物学见解的新单位。
Methodology Steps
- 数据准备: Neuropixel多通道记录 + 自然电影刺激
- 编码器训练: 学习脉冲→CLIP嵌入映射
- 叙述生成: 多模态LLM生成自然语言描述
- SAE验证: 稀疏自编码器验证语义一致性
- 细胞类型分析: 遗传标记细胞的功能贡献量化
Implementation Notes
- CLIP patch-embedding空间作为视觉语义表示
- 无需语言端训练数据
- 支持任意神经元子集组合
- 适用于分子定义的细胞类型探针
Applications
- 单神经元功能表征
- 细胞类型特异性解码
- 视觉系统信息流分析
- 神经编码语义理解
References
- arXiv:2606.18667 (2026-06-17)
- Authors: Arnau Marin-Llobet, Richard Hakim, Sara Matias, Venkatesh N. Murthy, Na Li, Demba Ba
- Primary Category: q-bio.NC (Neural and Cognitive Computing)