百度发布Unlimited OCR 2：SR-SWA实现无限长文档解析

百度在Hugging Face上发布了Unlimited OCR 2，主打“无限视野”文档解析。核心创新是稀疏参考滑动窗口注意力（SR-SWA），把超长序列中的文本-视觉注意力交互压缩到固定大小的参考集（例如512个token），从而将计算复杂度限制在可控范围，使每步解码延迟和内存占用几乎不随文档长度增长。

从长文档到无限文档：SR-SWA如何工作

传统OCR模型处理长文档时，注意力机制的计算量会随序列长度呈二次方增长，内存瓶颈随之出现。Unlimited OCR 2的SR-SWA机制选择了一条不同的路径：它不再让每个新token与全部历史token做注意力交互，而是维护一组固定大小的“工作参考”，将文本与视觉信息的交互压缩到这些参考上。

据官方发布说明，这种设计将文本-视觉注意力交互从超长序列压缩至固定大小的参考集（例如512个token），从而约束计算复杂度。效果是每步解码的延迟和内存占用几乎恒定，与文档长度无关。这意味着模型在有限上下文窗口内实现了真正的无界文档解析，消除了随文档增长而出现的二次注意力扩展和内存瓶颈。

注意力机制的二次方复杂度源于其基本计算方式：对于长度为 n 的序列，每个 token 需要与序列中所有其他 token（包括自身）计算注意力权重，形成 n×n 的注意力矩阵，因此计算量和内存占用均随 n² 增长。在标准 Transformer 中，这一成本在长文档场景下会迅速变得不可承受——例如当序列长度从 1,000 扩展到 10,000 时，注意力矩阵的元素数量从 100 万增至 1 亿。这也是长文档 OCR 长期受限于上下文窗口的根本原因。

滑动窗口注意力（Sliding Window Attention, SWA）是一种常见的稀疏化策略，最初在 Longformer 等模型中被系统化使用。其核心思想是让每个 token 只与邻近的固定窗口内的 token 做注意力交互，而非全量历史。这种方式将复杂度从 O(n²) 降至 O(n·w)，其中 w 为窗口大小。Unlimited OCR 2 的 SR-SWA 在此基础上引入了“参考集”机制，即从历史信息中维护一组固定大小的摘要性参考 token，使文本与视觉信息能够跨窗口交互，从而在保持线性复杂度的同时避免纯滑动窗口“遗忘”远处信息的问题。

解码延迟（per-step decoding latency）是自回归生成模型的关键性能指标，指每生成一个输出 token 所需的平均时间。在 OCR 场景中，解码器需要根据视觉特征和已生成的文本逐步输出字符或词。若注意力计算随文档长度增长，则文档越长，每一步解码越慢，导致总推理时间呈超线性增长。Unlimited OCR 2 声称每步解码延迟几乎恒定，意味着无论输入文档是 10 页还是 500 页，生成每个 token 的时间成本基本一致——这对批量处理超长档案或实时文档解析服务具有直接的工程价值。

内存占用方面的意义类似：在标准注意力中，键值缓存（KV cache）会随序列长度线性增长，而注意力矩阵则可能带来峰值内存的二次方压力。固定参考集的设计将文本-视觉交互的缓存规模锁定在常数级别，使显存需求不再随文档页数膨胀，从而降低了部署超长文档解析服务时的硬件门槛。

性能表现：覆盖数十页到数百页基准

百度称Unlimited OCR 2在多个超长文档解析基准上达到SOTA。具体而言，它在数十页级别的基准（如MPDocBench）和极端百页级别的基准（如MarathonDocBench）上均取得领先表现。这两类基准的覆盖说明模型不只是应对“较长”文档，而是面向真正意义上的超长文档场景。

你可能没注意到，官方描述中强调“无限视野解析”（unlimited-horizon parsing），而非仅仅“长文档解析”。这一措辞差异背后是设计目标的不同：前者追求文档长度不构成约束，后者只是在特定长度范围内优化。从技术路线看，SR-SWA通过固定参考集来界定计算量，理论上确实支持任意长度输入。

MPDocBench 与 MarathonDocBench 是两类定位不同的长文档解析评测基准。MPDocBench 侧重多页文档（通常数十页量级）的版面理解与内容提取，覆盖表格、图表、多栏排版等复杂结构；MarathonDocBench 则面向极端长度场景（百页以上），考察模型在超长上下文中的信息保持与结构一致性能力。两者结合能够较全面地反映模型从“较长文档”到“超长文档”的泛化表现。

需要指出的是，SOTA（State-of-the-Art）声明通常基于官方自测结果，其评测协议、数据划分和对比基线可能与第三方独立评测存在差异。在 OCR 领域，不同基准对版面复杂度、语言混合、扫描质量等因素的敏感度不同，因此单一基准上的领先并不必然等价于真实场景中的全面优势。这也是文章强调“第三方独立评测尚未出现”的原因。

技术意义与待观察之处

Unlimited OCR 2的发布延续了OCR领域从“识别文字”向“理解长文档结构”演进的趋势。对于需要处理合同、档案、书籍、报表等超长文档的场景，解码延迟和内存占用不随长度增长是一个有吸引力的特性。

不过，目前公开信息主要来自百度官方在Hugging Face的发布说明，第三方独立评测尚未出现。SR-SWA在真实复杂文档上的鲁棒性、对版面多样性的适应能力，以及“固定参考集”是否会在极长文档中丢失关键细节，都需要后续验证。此外，官方提到的512 token参考集是一个示例值，实际部署中的配置空间和调优策略也有待披露。

对开发者和研究者而言，Unlimited OCR 2提供了一个值得关注的方向：用稀疏参考机制替代全量注意力，把长文档解析的成本曲线压平。模型已发布在Hugging Face的baidu/Unlimited-OCR-2页面，具体权重和推理代码可前往查看。