大模型时间抽取任务泛化能力评测：单一维度不可靠

研究背景：时间抽取为何依然困难

时间与事件表达抽取是时序推理的基础任务，广泛应用于信息抽取、知识图谱构建和事件追踪等场景。尽管大语言模型（LLM）在诸多自然语言处理任务上表现亮眼，但这类任务至今仍然棘手。

论文指出三大核心难点：标注本身存在歧义（annotation ambiguity）、任务对领域高度敏感（domain sensitivity），以及模型行为不稳定（unstable model behavior）。这些因素叠加，使得模型在面对真实世界数据时的可靠性难以保证。

更关键的问题在于，现有评测几乎都聚焦于“域内性能”（in-domain performance），也就是模型在训练分布相近的数据上的表现。这种评测方式对于理解模型在分布偏移（distribution shift）下的真实可靠性，提供的洞察非常有限。

分布偏移（distribution shift）指模型在推断阶段遇到的数据与训练阶段的数据在统计特性上存在差异。在时序抽取场景中，这种偏移尤为突出：新闻领域训练的模型遇到医疗记录时，时间表达的措辞习惯、粒度（精确日期 vs. 模糊描述如"数周前"）和语境线索都可能截然不同。域内评测（in-domain evaluation）仅在与训练分布相近的测试集上衡量模型性能，因此即便得分很高，也无法反映模型在实际部署中可能遭遇的各类偏移。这正是该研究强调"多维度泛化评测"的根本动机——域内高分是必要条件，但远非充分条件。

四个维度的泛化评测框架

这项研究的核心贡献在于构建了一个系统性的多维泛化评测框架，而非停留在单一指标上。研究团队跨越不同模型家族、不同架构以及不同推理策略，对多种模型配置进行了评估。

评测覆盖了四个泛化维度：

• 领域偏移（domain shift）：数据来自与训练分布不同的领域
• 对抗扰动（adversarial perturbations）：对输入施加有意的干扰
• 组合性（compositionality）：考察模型处理复杂组合表达的能力
• 长度增加（length increase）：输入文本变长时的稳定性

研究同时考察了三类影响因素：从基础任务性能的迁移（transfer from base performance）、各维度之间的相关性（cross-dimensional correlations），以及规模、架构和提示策略带来的效应。这种设计让研究能够回答一个更本质的问题——prompted LLM 在时序抽取任务中到底是如何泛化的。

核心发现：强基础性能≠强泛化

研究得出了几个颇具价值的结论，对实际部署 LLM 具有直接参考意义。

其一，基础任务性能通常能预测更好的泛化能力。 在一般情况下，模型在基础任务上表现越强，其泛化表现也往往越好。这符合直觉，也是很多实践者默认的假设。

其二，这种关系在显著分布偏移下会减弱。 一旦面对较大的分布偏移，“基础强则泛化强”的规律就不再可靠。这意味着仅凭域内评测结果来推断模型的鲁棒性，是有风险的。

其三，归纳式提示（inductive prompting）表现最稳定。 在领域偏移、对抗扰动、组合性和长度增加这四个维度上，归纳式提示策略的表现最为一致。相比之下，演绎式（deductive）和溯因式（abductive）提示策略的收益参差不齐，且高度依赖具体维度。

规模与架构并非万能解

一个值得关注的细节是，来自模型规模和架构的提升同样是“不均衡且维度特定的”（uneven and dimension-specific）。换句话说，单纯堆叠参数量或更换架构，并不能在所有泛化维度上带来一致的改善。某个维度上的增益，可能在另一个维度上并不成立。

这对当前“规模即正义”的主流叙事提出了温和的质疑：在时序抽取这类对分布敏感的任务上，规模带来的收益需要分维度审视。

归纳式提示（inductive prompting）、演绎式提示（deductive prompting）与溯因式提示（abductive prompting）代表三种不同的推理范式在提示工程中的应用。归纳式提示引导模型从具体样例中总结规律，再将其应用于目标输入，类似于"先观察、后推广"；演绎式提示则提供明确的规则或定义，让模型依规则推导具体结论；溯因式提示要求模型为观察到的现象寻找最佳解释，本质上是逆向推理。在时序抽取任务中，三者的差异体现在面对歧义标注或分布外数据时的鲁棒性：归纳式方法对训练样本的依赖使其在新领域中仍能保持相对一致的行为模式，而演绎和溯因方法对规则或假设的质量更为敏感，一旦规则与新领域不匹配，性能就会大幅波动。这也解释了为何研究者观察到归纳式提示在四个泛化维度上均表现最稳定。

实践启示：如何评估模型可靠性

论文的最终结论直指评测方法论的痛点：LLM 在时序抽取任务中的泛化能力，无法从任何单一维度单独预测，也无法从域内评测或单维度评测中可靠地推断出来。

这对研究者和工程团队有两点实际意义。一方面，在选型和验证模型时，依赖单一基准或单一维度的测试很可能高估模型在生产环境中的可靠性。多维度、面向分布偏移的评测应当成为标准流程。

另一方面，研究凸显了对“跨维度泛化的推理策略”的需求。归纳式提示的稳定表现提示我们，提示工程（prompt engineering）在提升泛化鲁棒性方面仍有可挖掘的空间，而不只是依赖更大的模型。

对于需要在信息抽取、法律文档分析、医疗记录处理等领域部署时序抽取能力的团队来说，这项研究是一个有益的提醒：真正的可靠性考验，发生在分布之外。