LLM挑战微调模型：知识图谱转文本基准测试新发现

知识图谱转文本：LLM与微调模型的正面对决

知识图谱转文本（KG-to-text）任务要求模型将一组知识图谱三元组转化为流畅的自然语言。长期以来，微调后的编码器-解码器模型是该任务的标准方案，但随着大语言模型（LLM）能力快速提升，两者之间的差距正在被重新定义。一项最新的实证研究在标准基准上系统对比了近期LLM与微调模型的表现，揭示了评估维度不同所带来的结论差异。

研究方法：双轨评估体系

该研究采用了两套并行的评估框架。其一是传统的基于参考的指标（reference-based metrics），即将模型输出与人工撰写的参考文本进行比对；其二是基于图接地的无参考LLM评估（graph-grounded reference-free LLM-based evaluation），并经过人工标注验证。这种双轨设计本身就是对现有评估方法的一次反思——单一指标可能无法全面反映生成质量。

研究团队将近期LLM与微调编码器-解码器模型在相同基准上进行了头对头比较，覆盖了多个标准数据集。评估不仅关注文本流畅度，还深入到生成内容与输入图谱之间的事实一致性。

基于参考的指标（如BLEU、ROUGE、METEOR）通过计算生成文本与人工参考文本之间的n-gram重叠度或语义相似度来评分。这类指标计算高效、可复现性强，但存在固有局限：它们奖励对参考措辞的表面模仿，却无法判断生成内容是否忠实于输入图谱。对于同一组三元组，不同标注者可能写出措辞迥异的参考文本，模型输出即使事实完全正确，也可能因词汇选择不同而被扣分。

图接地的无参考LLM评估则绕开参考文本，直接让LLM判断生成文本与输入图谱之间的事实一致性，例如是否遗漏了三元组、是否引入了图谱中不存在的信息（矛盾）。这类评估更贴近KG-to-text的核心目标——忠实传达图谱内容，但其可靠性依赖于评估LLM的能力和提示设计，因此该研究引入了人工标注进行验证，以校准LLM评估的可信度。

核心发现：差距缩小但评估维度分化

在基于参考的指标上，近期LLM大幅缩小了与微调模型的差距，在部分设置下甚至已经追平。这一结果并不令人意外——LLM在语言流畅性和表面形式匹配上的进步有目共睹。

但更值得关注的是图接地指标上的反转：LLM在减少矛盾（contradiction）和三元组遗漏（triple omission）方面表现优于微调模型。换言之，微调模型虽然更擅长“模仿”参考文本的措辞，但在忠实于输入图谱这件事上，反而更容易出错。

研究还发现，基于LLM的评估分数与基于参考的指标之间相关性有限。这说明两种方法捕捉的是生成质量的不同侧面：前者更关注语义一致性和事实准确性，后者更偏向词汇和句法层面的相似度。对于KG-to-text这类强调忠实度的任务，仅依赖参考指标可能会掩盖模型在事实层面上的缺陷。

三元组遗漏（triple omission）指输入图谱中的某个三元组在生成文本中完全未被提及，属于信息缺失型错误；矛盾（contradiction）则指生成文本表达了与输入图谱相冲突的内容，例如将关系方向颠倒或实体属性写错，属于信息扭曲型错误。在KG-to-text任务中，这两类错误直接损害生成文本的事实可靠性，比词汇层面的不匹配严重得多。由于基于参考的指标主要衡量表面相似度，它们对遗漏和矛盾的惩罚并不敏感——模型完全可能写出与参考文本高度相似却遗漏了关键三元组的句子。这正是该研究引入图接地评估的原因：只有直接以输入图谱为锚点，才能系统性地检出这两类事实性缺陷。

图谱规模效应：微调模型的隐忧

一个尤为关键的发现是错误率随图谱规模增长的差异。随着输入图谱变大（三元组数量增加），微调模型的矛盾和遗漏错误增长得更快，而提示式LLM的错误增长相对平缓。

这指向了两种建模范式的本质区别：微调模型在训练分布内表现优异，但面对更复杂、更长的输入时泛化能力受限；LLM凭借更强的上下文理解和指令遵循能力，在规模化输入下保持了更好的鲁棒性。对于实际应用中动辄包含数十个三元组的知识图谱，这一差异可能直接影响部署选择。

对KG-to-text实践的启示

这项研究传递出几个值得实践者关注的信号。评估体系需要升级：单纯依赖BLEU、ROUGE等参考指标可能低估LLM的真实能力，也会忽视微调模型的事实性缺陷。图接地评估应成为KG-to-text任务的标准配置。

模型选型需按场景权衡：如果应用场景对文本风格有严格的参考模板要求，微调模型仍有优势；但如果更看重事实忠实度和对大规模图谱的鲁棒性，提示式LLM是更稳妥的选择。说个细节，LLM的优势建立在良好的提示设计之上，实际部署时仍需针对具体领域进行提示优化。

研究也留下了一个开放问题：如何将图接地评估的信号反馈到模型训练中，让微调模型在保持参考指标优势的同时提升事实一致性，可能是下一阶段值得探索的方向。