trajectory-geometry-transformer-representations

name	trajectory-geometry-transformer-representations
description	Transformer 表征轨迹几何分析方法论 - 将计算神经科学的几何工具应用于 Transformer 可解释性研究，无需探测即可分析表征动力学
trigger_words	transformer, trajectory geometry, computational neuroscience, interpretability, representation dynamics, attractor, layerwise analysis
version	1.0.0
arxiv_id	2606.09287
authors	Vishal Pandey, Gopal Singh
published	2026-06-08T00:00:00.000Z

Trajectory Geometry of Transformer Representations Across Layers

概述

将 Transformer 前向传播重构为高维表征流形中的离散群体轨迹，借鉴计算神经科学的几何工具进行机制可解释性分析。核心创新：无需探测预定义特征，直接在原始表征空间计算五个几何指标分析轨迹动力学。

核心方法论

五个几何指标

1. 轨迹长度 (Trajectory Length)

   • 表征层间变化幅度
   • 反映信息流传递效率

2. 曲率 (Curvature)

   • 编码计算复杂性
   • 推理任务曲率 > 词法变化任务 (0.71-0.83 rad vs 0.27-0.31 rad)

3. 语义收敛指数 (Semantic Convergence Index, CI)

   • 中晚期层语义相关提示收敛 (峰值 CI 0.41-0.58, p<0.001)
   • 吸引子动力学证据

4. 层间余弦相似度 (Layerwise Cosine Similarity)

   • 通用三阶段结构：编码 → 深化 → 输出准备
   • 跨架构一致（GPT-2, TinyLlama, Qwen2.5）

5. 表征稳定性 (Representational Stability)

   • 模糊token轨迹分叉（最终层5.6倍分离）
   • 清晰token无分叉

分析流程

步骤1: 提取层间表征
  - 收集各层隐藏状态向量
  - 构建轨迹序列 {h₁, h₂, ..., hₙ}

步骤2: 计算几何指标
  - 轨迹长度: Σ||hₗ₊₁ - hₗ||₂
  - 曲率: arccos(⟨hₗ₊₁-hₗ, hₗ-hₗ₋₁⟩ / ||...||²)
  - 语义CI: 跨提示轨迹距离收敛率
  - 层间相似度: cosine(hₗ, hₗ₊₁)

步骤3: 对比分析
  - 不同任务类型轨迹差异
  - 模糊 vs 清晰 token 行为
  - 洗牌层/随机嵌入控制实验

步骤4: 解释动力学结构
  - 三阶段结构识别
  - 吸引子动力学验证
  - 计算复杂性与曲率关联

关键发现

1. 语义收敛现象：语义相关提示在中晚期层显著收敛，支持吸引子动力学假设
2. 曲率编码复杂性：推理任务轨迹曲率显著高于词法变化，曲率作为计算复杂性的几何编码
3. 轨迹分叉特征：模糊token在最终层产生5.6倍表征分离，清晰token无此现象
4. 通用三阶段结构：所有测试架构呈现一致的三阶段层间动力学

应用场景

Transformer 可解释性研究

• 无需预定义探测任务
• 直接从表征几何分析信息流
• 跨模型、跨任务的动力学对比

计算神经科学跨界应用

• 将神经动力学工具应用于AI系统
• 神经表征轨迹分析类比
• 吸引子动力学验证方法

模型架构优化

• 层间信息传递效率分析
• 表征瓶颈识别
• 架构改进指导

技术要点

实现细节

• 表征提取: 各层隐藏状态或注意力输出
• 轨迹构建: 层序离散序列
• 指标计算: 在原始表征空间直接计算，无需降维
• 控制实验: 洗牌层序、随机嵌入基线

优势特点

• Probe-free: 无需预定义特征探测
• Model-agnostic: 跨模型通用
• Open-source: 完整开源管道
• Geometric lens: 几何视角替代功能探测

注意事项

1. 表征选择: 不同层输出（隐藏状态/注意力）影响轨迹定义
2. 任务控制: 需精心设计提示家族对比语义vs词法变化
3. 架构差异: 三阶段结构通用，但具体指标值因架构而异
4. 计算资源: 高维表征几何计算可能内存密集
5. 尺度效应: 大模型层间变化幅度可能更显著

相关资源

• arXiv: 2606.09287
• 论文原文: https://arxiv.org/pdf/2606.09287v1.pdf
• 开源代码: 论文提及完全开源管道
• 测试模型: GPT-2, TinyLlama, Qwen2.5
• 提示家族: 5类受控提示集

核心概念

• 轨迹几何: 表征空间中的路径几何特征
• 吸引子动力学: 语义相关提示收敛现象
• 三阶段结构: 编码-深化-输出的通用层间模式
• 曲率编码: 轨迹曲率反映计算复杂性
• 轨迹分叉: 模糊token的多路径分离现象

方法论意义

开创性地将计算神经科学的几何分析工具应用于 Transformer 可解释性研究，无需功能探测即可分析表征动力学。五个几何指标提供系统化、probe-free 的机制解释框架，跨架构验证揭示通用动力学结构。