语言结构增强能提升文本连贯性评估吗？实验证明反而降低准确率

引言：流畅不等于连贯，LLM生成文本的隐藏缺陷

大语言模型（LLM）的崛起彻底改变了人机交互方式。然而，尽管这些模型能生成语法正确、行文流畅的文本，它们却常常在语义层面"翻车"——产生自相矛盾、逻辑断裂或前后不一致的内容。这类文本表面上无懈可击，深入阅读却发现其中的逻辑漏洞。

一篇最新发表于 arXiv 的研究（arXiv:2609.10893v1）针对这一问题提出了一个直觉性的假设：如果我们在文本中显式地注入句法（syntactic）和修辞（rhetorical）结构信息，是否能够帮助模型更好地识别文本的不连贯性？答案出人意料——在当前的模型架构下，这条路走不通。

文本连贯性评估为何如此困难

语法正确不等于逻辑通顺

文本连贯性（textual coherence）指的是句子与句子之间、段落与段落之间在语义和逻辑上的连续性。一段文字可能每一句都语法完美，但整体读下来却让人感觉"哪里不对"——这正是不连贯的典型表现。对于 LLM 生成的内容而言，这种问题尤为突出：模型擅长模仿语言的表层形式，却难以保证深层的逻辑一致性。

语言结构增强：一个看似合理的思路

研究者的出发点很自然：既然连贯性涉及句法结构和篇章修辞关系，那么将这些结构化信息显式地"喂"给模型，理论上应该能帮助它更准确地判断文本是否连贯。这种"语言结构增强"（Linguistic Structure Enrichment）的思路，在传统 NLP 时代曾被广泛使用——通过引入依存句法树、修辞结构理论（RST）等外部知识来辅助下游任务。

实验结论：语言结构增强反而降低了连贯性评估准确率

结构信息与Transformer架构存在不兼容问题

研究团队通过一系列实验得出了一个反直觉的结论：纯文本（plain texts）输入反而取得了更高的准确率。额外添加的句法和修辞信息在结构上与语言模型的架构存在根本性的不兼容。

现代基于 Transformer 的语言模型是在大规模自然文本上预训练的，它们对"正常"的文本序列有着极强的建模能力。当研究者强行注入结构化标注时，这些标注反而破坏了模型习惯的输入形式，引入了噪声，干扰了模型原本的理解能力。这一发现对整个 NLP 领域具有重要的方法论意义。

对"知识注入"范式的深层反思

这个结果呼应了近年来 NLP 领域的一个重要趋势：随着预训练模型规模的扩大，许多曾经有效的"显式知识注入"技巧逐渐失效，甚至产生负面效果。模型在海量数据中已经隐式学习到了大量的句法和语义规律，人为添加的结构信息往往画蛇添足。这提醒研究者，在设计模型增强方案时，必须充分考虑与底层架构的适配性。

实践价值：连贯性评估可作为虚假信息检测的代理指标

零样本实验验证了检测潜力

为了证明连贯性评估的实际应用价值，研究团队在一个巴西虚假信息（disinformation）数据集上进行了零样本（zero-shot）实验。结果颇具启发性：文本连贯性可以作为检测误导性内容的有效代理指标。

这一发现的逻辑链条十分清晰：虚假信息、谣言和误导性内容往往在逻辑构建上存在缺陷——为了迎合特定叙事，这类文本常常出现逻辑跳跃、因果错位或前后矛盾。因此，一个能够有效评估连贯性的模型，天然具备了识别可疑内容的潜力。

内容治理场景下的轻量级筛查方案

在信息爆炸和 AI 生成内容泛滥的背景下，如何自动化地识别低质量、误导性或虚假内容成为一大挑战。将连贯性评估作为检测手段，提供了一个不依赖事实核查数据库的轻量级筛查思路。虽然它无法替代严格的事实验证，但可以作为大规模内容筛查的第一道过滤网，帮助优先标记高风险内容。

研究意义与未来展望

用实验推翻直觉假设的方法论价值

这项研究最有价值的贡献之一，是以严谨的实验推翻了一个看似合理的假设。它告诉我们，在深度学习时代，直觉性的"增强"未必带来性能提升，一切都需要用数据和实验说话。研究团队还开源了代码和模型（GitHub: ittozzamV/cohereclassifier），方便后续研究者复现和拓展。

未来架构演进可能改变结论

研究标题中"Not With Current Architectures"（在当前架构下不行）的措辞留下了想象空间。这暗示，随着模型架构的演进——例如未来出现能够原生处理结构化输入的新型架构——语言结构增强或许仍有用武之地。此外，如何设计更"友好"的结构信息注入方式，使其与 Transformer 架构和谐共存，也是值得深入探索的课题。

对于内容安全和 AI 治理领域而言，将连贯性作为可解释的检测信号，无疑是一个兼具理论深度和实用价值的研究方向。