企业文档摄取中的沉默线索丢失：Agent为何自信犯错

企业Agent执行任务时，第一步往往不是“思考”，而是“读文档”。无论是遵循政策、回答合规问题，还是提交工单，都必须先把Word或PDF转成token。问题恰恰出在这一层：主流文档转换器会系统性地丢失作者通过排版编码的语义线索——高亮、颜色等格式信息在转换过程中被剥离，导致Agent不是“ visibly incomplete”，而是“confidently wrong”。

被格式转换器吃掉的那层信息

研究者构建了一个基于76份真实政策文档的任务：要求Agent找出作者特意标注的要求项，并以文件自身的OOXML属性作为确定性匹配标准，全程不用LLM做裁判。结果显示，当摄取层“看不见”格式时，性能从micro F1 0.690骤降至0.150（docling）和0.075（纯文本）。这一差距在六个回答模型上均能复现——覆盖Claude的Opus、Sonnet、Haiku三个层级共五款模型，以及OpenAI的GPT-5.6。

更值得警惕的是失败模式。看不见线索的Agent会直接“猜”，docling在作者未标注的要求上产生的假阳性率是我们的四倍。也就是说，格式丢失不会让Agent说“我不知道”，而是让它自信地给出错误答案。

micro F1 是信息抽取与分类任务中常用的评价指标，它先汇总所有类别（此处可理解为“作者标注的要求项”与“非要求项”）的预测结果，计算全局的精确率与召回率，再取两者的调和平均。与 macro F1 对每个类别等权平均不同，micro F1 会被样本量大的类别主导，因此更适合衡量整体抽取质量。在本研究中，micro F1 的骤降意味着 Agent 整体上既漏掉了大量真实要求项，又误判了不少非要求项，而非某一类别的局部波动。

假阳性率指模型把“作者未标注为要求”的内容误判为要求项的比例。文中提到 docling 的假阳性率是保留格式方案的“四倍”，说明格式丢失不仅造成漏检，还显著增加了过度识别——Agent 会把普通段落也当作义务性条款，这正是“自信地给出错误答案”的量化体现。

高亮与颜色才是关键线索

span级的留一法分析把损失定位到两个线索上：高亮（+0.302）和颜色（+0.262），两者Holm校正后p值均小于1e-4。相比之下，粗体、斜体、等宽字体和删除线的影响都在±0.003以内，几乎为零。同样的不对称性在PDF中同样出现。

颜色尤其特殊：它既是主流转换器普遍不保留的线索，也是现有解析基准从不评分的维度，却在真实文档中相当常见——6,460份文档中有32.8%带有刻意的颜色或高亮，10.3%用在了义务性条款上。这意味着大量企业文档的关键信息，正处在“转换即丢失”的盲区。

span 级留一法分析是一种消融实验设计：把文档中的格式线索按 span（文本片段）逐一移除，观察移除某一类线索后模型性能下降多少，以此归因每类线索的边际贡献。这里的“+0.302”“+0.262”即移除高亮或颜色后 micro F1 的下降幅度，数值越大说明该线索越关键。

Holm 校正是控制多重比较假阳性的经典方法。研究同时检验高亮、颜色、粗体、斜体、等宽、删除线等多个线索，若不校正，偶然显著的概率会随检验次数上升。Holm 校正按 p 值从小到大逐步调整阈值，确保整体犯第一类错误的概率可控；文中 p<1e-4 经校正后仍显著，说明高亮与颜色的效应并非多重检验的偶然产物。

修复成本低，且可度量

一项预注册实验显示，为Agent显式“键入”线索（typing a cue），比仅仅保留线索还能额外带来+0.085的提升（Holm校正p=0.049）。研究团队还通过独立模态——渲染后的页面图像——校验了标签质量（kappa=0.72），并界定了仅靠措辞能达到的上限（AUC 0.664）。

对Agent构建者而言，结论很直接：这类可靠性问题的胜负手在摄取层，而非推理层。修复手段廉价且可量化——保留颜色与高亮，并主动向模型显式标注这些线索，就能显著缩小差距。在多源交叉验证的视角下，该研究的任务设计、模型复现和统计检验相互印证，核心结论具有较高可信度。

预注册实验指在研究开始前公开登记假设、样本量、主要指标与分析方案，事后再按登记方案执行。它能有效抑制事后挑选有利结果、随意调整分析口径等 p-hacking 行为，因此文中“预注册”加上“Holm 校正 p=0.049”的表述，意味着该 +0.085 的提升是在事先约定的检验下勉强达到显著，可信度高于事后分析。

Cohen's kappa（kappa=0.72） 是衡量两名标注者一致性的统计量，已扣除随机一致的概率。一般 0.61–0.80 视为“高度一致”，0.72 说明通过渲染页面图像独立校验的标签质量可靠，并非研究者的主观臆断。AUC 0.664 则衡量仅凭措辞文本区分要求项与非要求项的能力，0.5 相当于随机猜测，0.664 属于较弱区分力，用以界定“不依赖格式、只看文字”能达到的性能上限。

对企业落地的启示

多数团队把精力放在提示词和模型选型上，却默认文档解析是“已解决”的基础设施。这项研究提醒我们，解析层的静默信息损失会直接转化为业务风险：合规判断、政策执行、工单分类都可能因为一个被丢掉的高亮而走偏。建议在文档摄取管线中加入格式线索保留的验收测试，并把“线索感知”作为Agent评测的常规维度。