编码智能体长文档转化为何卡在最后一公里？临床试验方案数字化实证研究

长文档数字化的真实困境：找到证据，却输在转录

临床试验方案是研究设计的"事实来源"，但绝大多数仍以非结构化 PDF 形式存在。把这些方案转化为结构化、机器可读的数据，能让临床软件进行分析、验证甚至执行。编码智能体（coding agents）——能够自主选择工具、执行代码并根据结果修正策略的 AI 系统——正被越来越多地用于这类长文档任务。

但一个关键问题尚未被回答：它们在多大程度上能可靠地把完整文档转化为准确的结构化输出？

一项针对该问题的实证研究给出了值得警惕的答案。研究者以临床试验方案数字化为测试场景，构建了 TrialPD-Bench——一个由专家标注、包含 150 份公开方案 PDF、覆盖四类任务的基准测试集。评估范围不限于最终答案的正确性，还扩展到智能体轨迹中的证据召回率、智能体行为模式以及成本。

什么是非结构化 PDF 与结构化数据

非结构化 PDF 指内容仅以视觉版面（文字位置、字号、表格线）呈现，而没有语义标签的文件。人眼能读懂"收缩压 ≤ 140 mmHg"属于哪个访视、哪一列，但机器看到的只是坐标与字符流。结构化数据则要求同样的信息被拆解为带字段名的键值对，例如 {visit: "Week 4", criterion: "SBP", operator: "<=", value: 140, unit: "mmHg"}，从而可被程序直接查询、比对和校验。

两者之间的转换并非简单 OCR：它要求模型同时完成版面理解（表格边界、跨页续表、脚注归属）、语义消歧（同一缩写在不同章节含义不同）和规范化（单位、日期格式、枚举值统一）。临床试验方案尤其苛刻，一处数值或单位的转录偏差就可能改变入排标准的判定结果，这也是该任务被视为长文档抽取"压力测试"的原因。

什么是智能体轨迹（agent trajectory）

智能体轨迹指一次任务执行中智能体留下的完整动作序列：调用过哪些工具、读取了文档的哪些页或片段、生成了什么中间代码、得到什么返回结果、又如何据此调整下一步。它不同于只记录输入输出的"黑箱"评估，而是把推理与操作过程暴露出来。

对长文档任务而言，轨迹是定位失败环节的关键证据。通过计算证据召回率——即最终答案所依赖的原文片段中，有多大比例确实在轨迹中被读取过——可以区分两类截然不同的失败：一类是"没找到"（检索失败，相关段落从未被访问），另一类是"找到了但写错"（转录失败，证据在轨迹中出现却未被正确搬运到输出结构）。本研究的核心诊断正是基于这种区分，才得出瓶颈位于"最后一公里"而非检索阶段的结论。

核心发现：卡在"最后一公里"

研究团队在五种编码智能体框架（harness）中测试了九款专有与开放权重模型。结论颇为直接：即便是最强的智能体，也未能完全解决方案数字化任务。

更具体的诊断指向了一个明确瓶颈——智能体通常能找到所需的证据，却在转录与结构化的"最后一公里"失败。换句话说，问题不在于"不知道去哪里找"，而在于"找到了之后没法准确搬运"。

这个发现对当前编码智能体的能力边界给出了更精细的刻画：检索与定位能力已达到较高水平，但长文档场景下跨段落、跨表格的精确信息抽取与格式转换，依然是薄弱环节。

领域专用框架的补位：TrialScribe 的验证循环思路

针对"最后一公里"问题，研究者开发了 TrialScribe——一个领域专用的智能体框架，为编码智能体配备任务技能（task skills）和验证循环（verification loop）。

实验结果：TrialScribe 在八项指标上使本地部署的开放权重模型提升 6.2 至 59.4 分，使其能够匹配甚至超越 GPT-5.6-Sol 等专有模型。

这一提升幅度的意义值得拆解。它说明开放权重模型在通用编码智能体框架下表现受限，未必源于基础能力不足，而可能源于缺少领域知识与自我校验机制。当框架层面补上"技能"和"验证"两个环节后，能力差距可以被大幅弥合，甚至反超。

任务技能（task skills）与验证循环（verification loop）

任务技能指把领域知识显式封装为可复用的操作单元，供智能体在需要时调用。例如"识别入排标准表""归一化给药频次缩写""比对跨页续表"等技能，本质上是把专家隐性经验固化成带输入输出约定的工具或提示模板，减少模型每次都要从零推断的负担。

验证循环则是在生成结构化结果之后增加一道自检：把输出字段回查原文，逐项确认数值、单位、限定词是否与来源一致，不一致则触发重新抽取或修正。它与普通"再问一遍模型对不对"的区别在于，校验依据是原文而非模型自身的判断，因此能抓住模型自信但错误的转录。二者结合构成了"先专精、后复核"的闭环，这正是开放权重模型在补齐该环节后能力大幅跃升的原因——基础模型能力未变，变的是框架层提供的领域约束与纠错机会。

对长文档 AI 应用的启示

这项研究对更广泛的 AI 应用场景有参考价值。合同审阅、财报解析、法规比对等任务，本质上与方案数字化同构：都是从非结构化长文档中抽取结构化信息。

研究传递出的信号是，单纯提升模型规模或通用编码能力，可能无法突破"最后一公里"。更有效的方向包括：

• 证据可追溯：评估不能只看最终答案，要考察轨迹中的证据召回，这能定位失败发生在哪一环
• 领域框架优先：针对特定文档类型构建技能库与验证循环，收益显著
• 验证闭环：让智能体在转录后自检、回查原文，是弥补结构化错误的关键机制

对于正在将编码智能体投入生产的长文档处理团队，这项研究提供的基准、框架和诊断方法，构成了一套可直接参照的评估与改进路径。

常见问题

编码智能体能否完全替代人工完成临床试验方案数字化？

目前不能。研究表明即便最强智能体也未完全解决该任务，瓶颈集中在转录与结构化的准确性上。

TrialPD-Bench 评估了哪些维度？

除最终答案表现外，还包括智能体轨迹的证据召回率、智能体行为和成本。

TrialScribe 对开放权重模型的提升有多大？

在八项指标上提升 6.2 至 59.4 分，可匹配或超越 GPT-5.6-Sol 等专有模型。