DR Pixel：绕开OCR，让视觉语言模型直接“阅读”页面图像做深度研究

从OCR到像素：深度研究智能体的范式转变

科学论文、技术报告等复杂文档的信息大量存在于表格、图表和公式之中，但现有的深度研究（Deep Research，DR）智能体通常将论文压缩成OCR提取的纯文本。这种做法虽然轻量，却与文档的原始结构脱节：图表被丢弃，公式变成乱码，版面关系被抹平。

据最新公开的研究工作 DR Pixel 所述，研究团队反过来提问：视觉语言模型（VLM）能否直接对渲染后的文档页面图像进行检索与推理？他们发布了 DR Pixel，这是首个完全以页面图像作为唯一检索与推理单元的端到端多模态深度研究智能体，运行在包含 106 万页的语料库之上。

这一设定的核心价值在于：页面即数据单元。模型看到的是论文真实的视觉呈现，而非经过文本抽取后的“二手信息”。

视觉语言模型（VLM） 是一类同时处理图像与文本输入的多模态大模型，典型代表包括 GPT-4o、Gemini 系列、Qwen-VL 等。与纯文本 LLM 不同，VLM 的视觉编码器会把图像切分为 patch 并映射到与文本共享的表示空间，使其能够“阅读”版面、识别图表结构、解析公式符号。这一能力是页面原生方案成立的前提：只有当模型能直接从像素中抽取结构化语义，跳过 OCR 才不会损失信息。近年 VLM 在高分辨率文档理解上的进步（如动态分辨率、切片编码）显著降低了页面图像推理的精度损失，使得整页作为检索单元在工程上变得可行。

深度研究智能体（Deep Research Agent） 指能够自主规划、多轮检索并整合证据以回答复杂问题的 LLM 智能体，通常由检索工具、推理循环与答案合成三部分组成。与传统 RAG 的单轮检索不同，DR 智能体强调多步工具调用与证据链构建，因此其性能不仅取决于模型能力，也高度依赖检索单元的设计——这正是页面级方案试图改变的环节。

DRPixelBench：为视觉推理设计的评测基准

为了验证页面级深度研究的效果，团队构建了 DRPixelBench，一个专门针对科学论文的基准，要求模型同时理解文本、图表、表格和公式。这与传统基于文本的问答基准形成鲜明对比——后者的题目通常只考察片段检索与文本推理，而 DRPixelBench 迫使智能体在视觉版面中定位信息并完成多步推理。

基准本身的设计思路，反映出研究团队对“深度研究”任务的重新定义：真正的深度不在于检索多少文本，而在于能否跨模态整合文档中的证据。

零训练也不输文本方案

一个令人意外但重要的发现是：页面级深度研究无需额外训练就能工作得相当好。在 GPT-5.4、Gemini-3.5-Flash、Qwen3.6-27B 等前沿模型上，基于页面图像的方案全面优于基于OCR的基线，并且所需的工具调用次数更少。

这意味着两个层面的效率提升：效果更好，交互更省。传统“先OCR再检索”的流水线不仅多余，在复杂文档场景下甚至可能是次优解。研究团队对此的表述相当直接：直接检索和推理视觉文档页面，让复杂深度研究既更有效也更高效。

对于产品与工程团队而言，这一结论的启示是：在构建文档智能体时，渲染页面图像并交由 VLM 直接处理，可能比搭建OCR管道更简洁，同时保留图表与公式的完整信息。

训练难题：教师轨迹里的“噪声”

研究并未止步于零训练基线。团队进一步探索 DR 训练，但很快遇到一个关键挑战：用于智能体监督微调的教师轨迹是嘈杂的，其中混杂着关键推理与动作步骤，也包含冗余甚至失败的尝试。如果对这些轨迹一视同仁地学习，模型会把错误行为一并吸收。

为此，研究提出反事实信用重加权（counterfactual credit reweighting），一种细粒度的信用分配方法：它根据每个推理与动作步骤对最终答案的反事实贡献进行加权。换句话说，有用的步骤被放大，无效或误导性的步骤被压低。这种方法让监督信号从“照单全收”变为“择优吸收”。

从方法论角度看，这是智能体训练中一个具有普适性的思路——教师模型轨迹的质量参差不齐几乎是常态，细粒度信用分配比简单过滤更能保留有效信息。

教师轨迹（teacher trajectories） 指用强模型（教师）在智能体任务上采样得到的完整交互记录，包含观察、推理、工具调用与最终答案，常用于对较小模型做监督微调（即轨迹蒸馏）。其核心问题是质量不均：同一轨迹中既有决定成败的关键步骤，也有试探、回退甚至错误动作。反事实信用分配（counterfactual credit assignment） 借鉴强化学习中的信用分配思想，通过“若移除或替换该步骤，最终结果会如何变化”来估计单步贡献，从而把监督权重集中到真正影响答案的步骤上。相比仅按最终答案正确与否做整条轨迹加权，这种方法粒度更细，能在保留有效信息的同时抑制噪声，是智能体蒸馏中日益受关注的训练技巧。

训练收益与跨基准表现

经过训练后，DR Pixel 在 DRPixelBench 上的检索召回率提升约 15 个百分点，最终准确率提升超过 10 个百分点，并在四个现有基准上同样优于未训练基线。

更具说服力的是分布外测试：在 ViDoRe-V3 上，DR Pixel 与“直接给定黄金页面”的 oracle 差距仅为 1.8 个百分点。这个数字说明，页面级智能体的检索能力已经接近理想检索的边界——它在自己找到的页面上进行推理，效果几乎等同于被告知答案在哪一页。

ViDoRe 是由 Illuin 等团队提出的视觉文档检索评测系列，专注于以页面图像为单位的检索任务，涵盖科学论文、财报、 administrative 文档等多种版面。ViDoRe-V3 延续该系列设定，评估模型在大规模页面语料中定位相关页面的能力。Oracle 设定指直接把标注的黄金页面喂给下游推理模型，代表检索环节完美时的性能上界；智能体与 oracle 的差距因此可解读为“检索损失”。DR Pixel 在该基准上与 oracle 仅差 1.8 个百分点，说明其自检索页面与人工标注页面在推理效果上已非常接近，这是衡量页面级检索实用性的关键指标。

对文档智能体架构的启示

DR Pixel 的结论挑战了深度研究领域一条长期默认的工程路径：OCR 抽取文本、建立文本索引、再进行检索增强生成。研究给出的证据表明，这条流水线在复杂文档上既不必要，也不最优。

页面原生（page-native）方案的潜在优势体现在多个方面：版面信息得以保留，图表与公式无需转换即可被理解，工具调用次数更少意味着更低的延迟与成本。对于需要处理科研论文、财报、技术手册等富视觉文档的应用，这提供了一条值得评估的新路线。

当然，这一方向也带来新的工程考量：页面图像的存储与传输成本、VLM 推理的算力开销、以及大规模页面语料上的检索效率，都是落地时需要权衡的变量。DR Pixel 作为开源工作，为社区提供了一个可复现的起点。