eeg-fm-audit-systematic-evaluation

name	eeg-fm-audit-systematic-evaluation
description	EEG基础模型系统评估和分析管道。提出ASHA基准测试、范式级消融研究、神经生理学探测(NPP)框架，确保EEG基础模型的公平评估和可解释性。
tags	["neuroscience","eeg","foundation-model","evaluation","benchmarking","neural-decoding","interpretability","machine-learning"]
version	2.0.0
arxiv_id	2605.2691
authors	["Xianheng Wang","Yige Yang","Damien Coyle"]
published	2026-05-26T00:00:00.000Z
activation_keywords	["EEG基础模型","EEG foundation model","系统评估","systematic evaluation","ASHA基准","benchmarking","神经生理学探测","neurophysiological probing","NPP","消融研究","ablation study"]
updated	2026-05-28T00:00:00.000Z

EEG-FM-Audit: A Systematic Evaluation and Analysis Pipeline for EEG Foundation Models

研究背景

核心问题: 大型 EEG 基础模型在跨任务解码中展现出巨大潜力，但现有研究存在三个关键局限：

三大局限

1. 不透明的监督基线调优: 基线模型的调优过程不透明，难以公平比较
2. 复杂学习范式贡献未验证: 复杂范式（如预训练、迁移学习）的有效性未经验证
3. 模型决策缺乏透明性: 缺乏解释模型如何利用 EEG 特征的框架

EEG-FM-Audit 框架

三大核心组件

1. ASHA驱动的基准测试协议

目的: 确保监督基线的公平比较

方法:

• 使用 ASHA（Asynchronous Successive Halving Algorithm）优化超参数
• 透明化基线模型调优过程
• 系统化参数搜索和评估

优势:

• 自动化超参数优化
• 确保公平比较
• 减少人工调优偏差

2. 范式级消融研究

目的: 评估 FM 学习范式的有效性

消融维度:

• 预训练方法: 自监督 vs 监督预训练
• 迁移学习: 任务间迁移的有效性
• 架构设计: 不同架构的贡献
• 学习范式: 不同范式组合的效果

发现:

• 学习范式的有效性高度依赖：
  • 数据集规模
  • 模型架构
  • 任务类型

3. 神经生理学探测框架 (NPP)

目的: 探索 FM 是否利用有效的 EEG 特征

探测维度:

• 时间特征 (Temporal): EEG 时间序列特性
• 空间特征 (Spatial): 脑区空间分布
• 频谱特征 (Spectral): EEG 频段特性

框架价值:

• 建立可解释神经解码框架
• 验证模型利用生理学有效特征
• 揭示模型决策机制

实验设计

数据集

• 数量: 3个公共数据集
• 类型: 跨认知任务 EEG 数据
• 规模: 大规模多任务数据

模型对比

• EEG-FMs: 4个前沿基础模型
• 监督模型: 5个代表性监督基线

评估指标

• 准确性（Accuracy）
• 跨任务性能（Cross-task performance）
• 参数效率（Parameter efficiency）
• 神经生理学特征利用（NPP scores）

核心发现

1. 监督基线性能

惊喜发现:

• ✅ 适当调优的监督基线可以匹配或超越先进的 FM
• ✅ 尽管参数显著更少