LLM Token概率推断L2英语母语背景，70B模型达SOTA

从Token概率中挖掘母语线索

母语识别（Native Language Identification, NLI）旨在通过分析第二语言（L2）产出来推断说话者的第一语言（L1）。传统方法多依赖手工特征或微调分类器，而一项新研究提出了一种基于LLM token概率的评分方法：将每个文本样本作为候选L1提示前缀的延续进行评分，然后预测得分最高的候选L1。该方法使用Llama 3.1 8B和70B模型，在TOEFL9、Write and Improve 2024和BULATS-L1三个数据集上进行了评估，并与之前基于提示的分类方法进行了比较。

方法核心：提示前缀与概率评分

研究团队设计了一种简洁而有效的流程。对于每个待分类的L2英语文本，他们构造一个提示前缀，明确指定一个候选L1（例如“This text was written by a speaker whose first language is Chinese.”），然后计算该文本作为该前缀延续的token概率得分。对所有候选L1重复此过程，最终选择得分最高的作为预测结果。这种方法无需额外训练，仅依赖预训练LLM的固有知识。

Token概率评分：在自回归语言模型中，给定前缀序列，模型会为下一个token输出一个概率分布。将一段文本作为前缀的延续进行评分时，通常计算文本中每个token在给定前文（包括前缀）条件下的对数概率之和，再按token数量归一化，得到平均对数似然。这个分值反映了该文本在模型眼中与给定前缀的“匹配程度”。在本方法中，不同候选L1对应的前缀会引导模型进入不同的概率分布，因此同一文本在不同前缀下的得分差异，就构成了区分L1背景的信号。

直接提示分类：指让LLM直接阅读文本并输出L1类别标签，通常依赖指令微调后的模型遵循格式要求。这种方式受限于模型的指令遵循能力、输出解析的稳定性以及候选类别在提示中的呈现方式；而概率评分绕过了生成和解析环节，直接利用模型内部的分布信息，因此在小模型上往往更稳健。

实验设置与数据集

实验使用了Llama 3.1的8B和70B版本，在三个公开数据集上进行：TOEFL9（包含9种L1背景的托福作文）、Write and Improve 2024（大规模学习者英语作文）和BULATS-L1（商务英语考试写作）。这些数据集涵盖了不同水平和场景的L2英语产出，为评估方法的泛化能力提供了基础。研究对比了token概率评分与直接提示分类（即让LLM直接输出L1类别）的性能差异。

TOEFL9：该数据集包含母语背景各异的考生撰写的托福作文，通常覆盖9种L1（如中文、阿拉伯语、西班牙语等），是NLI研究中较早且常用的基准之一。其文本长度和写作场景相对统一，便于控制变量。

Write and Improve 2024：来自剑桥大学Write & Improve在线写作平台的 learner English 作文，规模较大、L1背景多样，文本水平和主题分布更接近真实学习场景，常用于检验方法在大规模异构数据上的泛化性。

BULATS-L1：基于BULATS商务英语考试的写作样本，场景偏向职场与商务沟通，与学术写作数据集形成互补，可评估方法在不同语域下的表现。

Llama 3.1：Meta发布的开源大语言模型系列，8B和70B指参数量规模。研究使用其预训练/指令版本而不做微调，因此性能差异主要反映模型规模与预训练知识对L1相关语言特征的编码能力。

结果：Token概率显著优于直接分类

实验结果表明，token概率评分方法大幅优于直接分类，尤其在8B模型上提升明显。直接分类可能受限于LLM的指令遵循能力和输出格式约束，而概率评分则更充分地利用了模型内部的分布信息。更引人注目的是，70B模型在所有数据集上均达到了state-of-the-art（SOTA）性能，超越了此前基于提示的方法。这一发现说明，预训练LLM的token概率中编码了与L1背景相关的细微语言特征。

模型规模的影响

8B模型上的显著提升与70B模型的SOTA表现共同揭示了模型规模的作用。较小模型可能缺乏足够的语言知识来直接分类，但其token概率仍能捕捉到区分性信号；较大模型则进一步将这些信号转化为更准确的预测。这为资源受限场景下使用较小模型提供了可行方案——通过概率评分而非直接分类来提升性能。

启示与局限

该研究为NLI任务提供了一种新的轻量级范式：无需微调，仅通过设计提示前缀并计算概率即可实现竞争性性能。这降低了NLI的应用门槛，并展示了LLM在语言画像分析中的潜力。然而，方法依赖于候选L1的枚举，且概率评分的计算成本随候选数量线性增长。未来工作可探索更高效的评分策略和跨语言泛化能力。

实际应用前景

从教育科技到安全取证，L1背景推断都有用武之地。例如，语言学习平台可据此为学习者提供个性化反馈，内容审核系统可辅助识别虚假信息中的语言痕迹。但需注意隐私和伦理问题，避免滥用语言画像技术。

总之，这项研究证实了预训练LLM token概率在L1背景识别中的价值，为NLI领域带来了简单而强大的新工具。