大脑-LLM对齐可被语义分解？SCRIBE框架给出新答案

当LLM"读懂"大脑：对齐背后的语义真相

大语言模型能预测人脑在理解自然语言时的神经反应，这已不是新闻。但一个关键问题始终悬而未决：这种大脑-LLM对齐究竟建立在什么信息之上？ 是深层的语义理解，还是某种统计上的巧合？

一项最新研究采用了一个巧妙的方法来回答这个问题。研究者以SCRIBE作为"透镜"——这是一种可解释的语境语义表示，涵盖65个神经认知学上有据可依的语义属性——来分解LLaMA2-7B与大脑活动之间的对齐关系。

大脑-LLM对齐（brain-LLM alignment）是近年来神经科学与人工智能交叉领域的一个研究范式：给定同一段自然语言刺激，一方面记录人脑在理解该语言时的fMRI或EEG响应，另一方面提取LLM对同一文本的内部表征（如各层隐藏状态），然后训练一个编码模型将LLM表征映射到神经响应上，检验其预测能力。若预测准确率显著高于基线，就说明LLM的表征与大脑的语言编码之间存在某种对应关系。这种对齐既可能源于两者共享的深层语义结构，也可能只是统计上的表面相似——例如词频、句法复杂度等低层特征。因此，仅仅证明"LLM能预测大脑活动"并不足以推断"LLM像大脑一样理解语言"，必须进一步分解对齐背后的信息来源，这正是本文所采用方差分解方法的问题动机。

方差分解：共享与独特贡献

研究团队使用方差分解技术，在7名被试聆听叙事故事（Moth Radio Hour）时采集的自然fMRI数据上，将LLaMA2-7B和SCRIBE各自预测大脑活动的方差拆分为两部分：两者共享的方差和各自独有的方差。

结果相当清晰。共享方差在全脑和语言相关区域都占据主导地位。这意味着LLM之所以能预测大脑反应，很大程度上是因为它捕获了SCRIBE所编码的那些语义信息。不过，两种表示也都保留了显著的独特贡献——LLaMA2-7B有它自己捕捉的额外信息，SCRIBE也有LLM未能覆盖的语义维度。

这个发现的意义在于：它首次用可解释的语义框架量化了大脑-LLM对齐中"多少来自可理解的语义"这一核心问题。

方差分解（variance partitioning）是一种多元统计方法，最早由Borcard等人在生态学中提出，后被广泛引入神经影像学。其核心思想是：当两个或多个预测变量集合（此处为LLaMA2-7B表征和SCRIBE语义表征）都能预测同一个因变量（大脑活动）时，可以通过计算各自的R²以及联合R²，将总解释方差拆分为共享部分（两个预测集共同解释的方差）和各自独特部分（仅由某一个预测集解释的方差）。在实际操作中，独特贡献通常通过"全模型R²减去去掉该预测集后的R²"来计算，而共享方差则是联合R²减去两个独特贡献之和。这一方法的优势在于无需假设两个预测集之间的因果关系，仅从预测角度就能量化它们的信息重叠程度。本文中，共享方差占主导意味着LLM对大脑的预测能力大部分可被SCRIBE的语义属性所解释。

具体性效应：抽象vs具体语义

研究进一步考察了一个有趣的维度：单个语义属性的具体性（concreteness）是否与共享方差和SCRIBE独有方差相关。

答案偏向肯定。具体性语义属性在全脑和大多数被考察区域中，与LLaMA2-7B的共享方差显著高于抽象属性。换句话说，当语义内容越具体（比如"苹果""跑步"这类可感知的概念），LLM的表示与大脑活动的一致性就越高。

但有意思的是，抽象属性并未表现出更大的SCRIBE独有方差。这暗示SCRIBE的独特贡献并不集中在抽象语义上，而是分布在更广泛的语义维度中。

消融实验：语义贡献的多维性

语义属性的消融实验揭示，语义贡献横跨多个维度，对被试的大脑预测方差产生累积效应。无论是共享方差还是SCRIBE独有方差，都受到多个语义属性的共同影响，而非由某个单一维度主导。

这一发现挑战了"某个特定语义维度主导大脑-LLM对齐"的简化假设。大脑对语言的编码本就是多维度的，任何试图用单一特征解释全部对齐的尝试都可能失真。

对AI与神经科学的启示

这项研究的价值不仅在于方法本身，更在于它提供的框架性思路。

对于AI可解释性研究而言，SCRIBE提供了一种将LLM内部表示"翻译"为可理解语义维度的方法。如果LLM对大脑的预测能力大部分可通过已知语义属性来解释，那说明LLM确实学到了人类语言理解的某些核心特征——而非仅仅拟合了表面统计规律。

对于神经科学，该研究提示大脑语言处理中存在LLM表示之外的语义信息。SCRIBE的独特贡献表明，当前的LLM架构可能遗漏了某些人脑使用的语义编码方式。这为改进模型架构或训练目标提供了方向。

当然，研究也留下了一些开放问题：这种对齐模式是否适用于其他LLM架构？65个语义属性是否足以覆盖人脑语言处理的全貌？这些问题有待后续工作探索。

LLM可解释性（interpretability）研究的一个核心难题是：LLM的隐藏层表征是高维稠密向量，单个维度往往不对应任何人类可理解的概念。SCRIBE提供了一条"外部锚定"的可解释性路径——不与模型内部神经元直接对应，而是将LLM表征的预测能力投影到一组预先定义的、有神经认知学依据的语义属性上。这种方法的局限在于，可解释性受限于SCRIBE所包含的65个属性：如果LLM编码了SCRIBE未覆盖的语义信息，这部分贡献将被归入"LLaMA2-7B独有方差"而无法进一步解释。与之互补的另一类方法是基于稀疏自编码器或探针分类器的内部可解释性技术，直接从模型内部提取可解释特征。两类方法各有优劣，未来或可结合使用以获得更完整的图景。

fMRI（功能性磁共振成像）通过检测血氧水平依赖（BOLD）信号来间接测量神经元活动，具有较高的空间分辨率（毫米级）但时间分辨率较低（秒级），因此特别适合定位语言处理涉及的脑区（如左半球额下回、颞上回等），但难以捕捉快速的神经动态。本文使用的自然fMRI范式——让被试聆听叙事故事（Moth Radio Hour）而非呈现孤立词汇——是近年来神经语言学的重要趋势，因为自然叙事能同时激活语义、句法、语用等多个层面的加工，更接近真实语言理解场景。7名被试的样本量在该领域属于典型规模，但个体差异较大，因此研究者在报告全脑结果的同时也关注被试间的一致性。