neurrate-neural-semantic-narration

name	neurrate-neural-semantic-narration
description	NEURRATOR (神经叙述器) - 从单个神经元活动生成自然语言描述的框架，实现单细胞分辨率视觉语义叙述
version	1.0.0
category	neuroscience
tags	["neural-encoding","single-neuron","natural-language","clip","multimodal","mouse-visual-cortex"]
arxiv	2606.18667
activation_words	["神经元叙述","neurator","单细胞分辨率","神经编码","视觉语义","CLIP嵌入","Neuropixel"]

NEURRATOR: Neural Semantic Narration at Single-Cell Resolution

Core Concept

从单个神经元活动生成自由形式自然语言叙述 - 开创性框架将神经脉冲活动解码为对观看场景的自然语言描述，实现单神经元分辨率级别的语义表征理解。

Key Innovation

1. 学习编码器: 将任意神经元子集的脉冲序列映射到CLIP patch-embedding空间
2. 冻结多模态LLM: 从CLIP嵌入生成自然语言描述
3. 稀疏自编码器验证: 无语言端训练，纯视觉驱动
4. 分子定义细胞类型: 从遗传标记的抑制性细胞类型解码视觉贡献

Technical Architecture

# 核心架构
class NEURRATOR:
    def __init__(self):
        self.spike_encoder = SpikeToCLIPEncoder()  # 脉冲→CLIP嵌入
        self.multimodal_llm = FrozenCLIPLLM()       # 多模态语言模型
        self.sae_validator = SparseAutoencoder()    # SAE验证
        
    def narrate(self, spike_trains, neuron_subset):
        # 1. 编码脉冲到CLIP空间
        clip_embeddings = self.spike_encoder(spike_trains, neuron_subset)
        
        # 2. LLM生成描述
        description = self.multimodal_llm.generate(clip_embeddings)
        
        # 3. SAE验证语义一致性
        validated = self.sae_validator.validate(description)
        return validated

Experimental Results

• 数据集: Neuropixel记录的小鼠视觉皮层（自然电影观看）
• 规模: 从数千神经元到单神经元叙述
• 应用: 量化解码保真度与群体大小和皮质区域的关系
• 发现: 分子定义的抑制性细胞类型贡献特定视觉特征

Biological Insight

"神经叙述" (Neurration) - 将细胞身份从分类目标转变为视觉系统的功能性探针，提供神经系统中生物学见解的新单位。

Methodology Steps

1. 数据准备: Neuropixel多通道记录 + 自然电影刺激
2. 编码器训练: 学习脉冲→CLIP嵌入映射
3. 叙述生成: 多模态LLM生成自然语言描述
4. SAE验证: 稀疏自编码器验证语义一致性
5. 细胞类型分析: 遗传标记细胞的功能贡献量化

Implementation Notes

• CLIP patch-embedding空间作为视觉语义表示
• 无需语言端训练数据
• 支持任意神经元子集组合
• 适用于分子定义的细胞类型探针

Applications

• 单神经元功能表征
• 细胞类型特异性解码
• 视觉系统信息流分析
• 神经编码语义理解

References

• arXiv:2606.18667 (2026-06-17)
• Authors: Arnau Marin-Llobet, Richard Hakim, Sara Matias, Venkatesh N. Murthy, Na Li, Demba Ba
• Primary Category: q-bio.NC (Neural and Cognitive Computing)