智能文档处理(IDP)评分方法论：置信度不等于正确性

为什么IDP需要专门的评分方法

智能文档处理（IDP）的核心任务是从结构化文档（尤其是表单）中提取关键信息（Key Information Extraction, KIE）。然而，许多团队在评估提取质量时，直接套用OCR指标或简单的准确率，结果往往失真。Reddit上一位研究者发布的两部分Medium系列文章，系统梳理了IDP评分的实践方法，强调了一个容易被忽视的原则：置信度不等于正确性。

该系列并非提出新算法，而是对当前实践做了一次“调查式”总结，覆盖了从原始结果记录到混淆矩阵映射、再到指标选择的完整链条。作者的重点在于“如何测量”，而非“如何实现”，这对理解不同基准测试的结果尤其有帮助。

KIE（Key Information Extraction） 是IDP中的核心子任务，目标是从半结构化或结构化文档（如发票、表单、合同）中抽取预定义的关键字段（例如金额、日期、供应商名称），并输出为结构化数据。与通用OCR仅关注“字符是否识别正确”不同，KIE要求模型理解字段的语义边界和文档布局，因此其评估必须基于“字段级”的精确匹配或语义等价判断，而非字符级错误率。KIE的难点在于：同一信息可能以不同格式出现（如日期“2024-01-01”与“01/01/2024”），空白字段的判定依赖上下文，且模型可能“捏造”不存在的内容（幻觉）。这些特性决定了KIE评分需要专门的混淆矩阵映射规则和指标选择，不能直接套用OCR的CER/WER。

从原始结果到混淆矩阵：先记录，再映射

评分的第一步不是直接计算指标，而是在映射到混淆矩阵之前，如实记录原始结果。作者建议将每个字段的提取结果归入五类原始状态：correct（正确）、misread（误读）、missed（漏读）、invented（捏造）、correct blank（正确识别空白）。这种记录方式保留了未经过滤的信息，避免了后续指标选择时的偏差。

接下来才是映射到混淆矩阵的四个值（TP、FP、TN、FN）。但映射规则本身需要明确约定，尤其是对于文本字段和复选框。文章详细讨论了不同的误读处理约定：只算FN、只算FP、或者同时算FN和FP。不同的约定会直接改变最终分数，因此公开结果时必须说明所采用的约定。

空白、NULL与不可读值：评分中的灰色地带

表单提取中，空白字段、NULL值、未报告的复选框以及不可读值如何处理，是评分中最容易产生分歧的地方。作者列举了多种计数方式，并分析了它们对指标的影响。例如，正确识别空白字段（correct blank）是否应该计入True Negative？如果计入，Accuracy会被显著抬高。

文章指出，这种“正确识别空白”的计入方式会让Accuracy看起来更高，但可能掩盖模型在真实信息提取上的不足。因此，选择指标时必须理解其背后的计数逻辑，而不是只看一个数字。

F1、Recall与Accuracy：选对指标比调参更重要

文章对比了F1、Recall和Accuracy在IDP场景下的适用性。一个关键洞察是：Accuracy在存在大量空白字段时容易虚高，因为正确识别空白被算作正确。Jaccard Index（IoU）被描述为“没有True Negative的Accuracy”，并且可以转换为F1。作者还讨论了Precision、Specificity和False Positive Rate在控制LLM幻觉（hallucination）方面的作用——当模型“捏造”内容时，FP会上升，Precision下降，因此这些指标对幻觉监控更敏感。

此外，文章覆盖了micro、macro和weighted F1的区别，以及如何选择一个“头条分数”（headline score）并明确其背后的约定。作者没有推荐某一种“正确”做法，而是呈现了不同变体及其权衡。

Jaccard Index（交并比，IoU） 在IDP评分中常被用来衡量提取字段集合与真实字段集合的重合程度，计算方式为交集大小除以并集大小。文章将其描述为“没有True Negative的Accuracy”，因为Jaccard只关注正例（提取出的字段）的重合，不涉及正确识别空白（TN）的计数。这一特性使其在空白字段较多的表单场景中比Accuracy更稳健。Jaccard与F1之间存在数学关系：当正例的Precision和Recall确定时，Jaccard = F1 / (2 - F1)，因此可以互相转换。理解这一关系有助于团队在报告“头条分数”时保持一致性，避免因指标选择不同而误判模型优劣。

置信度校准与KIE vs. OCR指标

文章专门讨论了置信度（confidence）与正确性（correctness）的分离，并引入校准指标ECE（Expected Calibration Error）和MCE（Maximum Calibration Error）来衡量模型置信度是否可靠。一个高置信度的错误预测，比低置信度的错误更危险，因为它会误导下游决策。

最后，作者区分了KIE指标与OCR指标：OCR常用CER（字符错误率）和WER（词错误率），但这些指标关注的是转录准确性，而非信息提取的语义正确性。IDP评分需要的是KIE层面的指标，因为一个字符错误可能导致字段值完全错误，而OCR指标无法捕捉这种语义层面的失败。

ECE（Expected Calibration Error，期望校准误差） 和 MCE（Maximum Calibration Error，最大校准误差） 是衡量模型置信度可靠性的标准指标。ECE将预测置信度分桶（如0-10%、10-20%……），计算每个桶内平均置信度与真实准确率之差的加权平均；MCE则取所有桶中偏差的最大值，反映最坏情况下的校准误差。在IDP场景中，一个高置信度的错误预测（如模型以95%置信度输出错误金额）会直接误导下游自动化流程，因此ECE/MCE比单纯的准确率更能揭示“自信地犯错”的风险。校准良好的模型应使置信度与正确率匹配，团队可据此设置置信度阈值，将低置信度结果转人工复核。

实践建议：透明约定，多指标并报

综合该系列的内容，IDP评分没有单一的“正确”答案，但有几点共识：

• 在映射到混淆矩阵之前，完整记录原始结果状态；
• 明确说明空白、NULL、复选框和不可读值的计数规则；
• 不要只报告一个指标，至少同时给出Precision、Recall和F1，并说明约定；
• 对LLM参与的提取任务，关注False Positive Rate以控制幻觉；
• 用ECE/MCE检查置信度是否可靠，避免“自信地犯错”。

这套方法论虽然不是突破性研究，但对于需要对比不同IDP方案或解读基准结果的团队来说，提供了可操作的评分框架。作者强调不 endorsing 任何厂商，系列内容聚焦于评分本身——这种中立性让讨论更具参考价值。