[控场AI]
· 3 分钟阅读· 1,840 字

AmbiHTMLBench:HTML文档解析新基准

AmbiHTMLBench:HTML文档解析新基准

AmbiHTMLBench以HTML为输出基准,系统评估多模态模型对视觉丰富文档的内容、布局与视觉保真度还原能力。

文章介绍了AmbiHTMLBench,一个以HTML而非Markdown作为输出表示的视觉丰富文档解析基准。该基准包含1,115个多样化页面,要求模型恢复可执行HTML,同时保留内容、组织结构和视觉外观。评估采用客观协议(对齐渲染块,测量表格保真度、文本错误和二维布局一致性)与参考锚定协议(LLM评判对齐人类偏好)双轨设计。在十个多模态系统上测试,最佳客观得分为0.8092,但主观胜出者不同,表明自动指标与人类感知互补。微调小参数专家模型表现良好,验证了任务特定适配的有效性。该基准将文档解析评估从文本提取推向结构、布局与视觉保真度的综合考量。

传统文档解析系统通常以Markdown作为输出表示,这对线性文本有效,但无法完整保留细粒度的空间结构、表格几何、视觉层次和渲染语义。为了解决这一问题,研究者提出了基于HTML的视觉丰富文档解析基准AmbiHTMLBench,系统性地研究这一设定。

AmbiHTMLBench 基准概览

为什么需要HTML而非Markdown?

Markdown在表示线性文本时简洁高效,但面对异构且对布局敏感的文档时,其局限性明显。这类文档的表示必须保持可编辑、可检查、可复用,而HTML能够更好地保留空间结构和视觉语义。AmbiHTMLBench的提出正是为了系统评估模型在给定真实文档时,恢复可执行HTML的能力,要求同时保留内容、组织和视觉外观。

视觉丰富文档(Visually Rich Documents)指那些除线性文本外,还通过空间布局、字体样式、表格结构、图形元素和页面层级来传递信息的文档,常见于财务报表、学术论文、发票、表单和产品手册。这类文档的语义不仅存在于字符序列中,也存在于元素之间的二维位置关系里:同一段文字放在页眉还是脚注、表格单元格的合并方式、标题字号大小,都会改变其含义。传统OCR或纯文本提取会丢失这些线索,导致下游任务(如信息抽取、问答、文档重排)性能下降。HTML之所以适合作为表示形式,是因为它原生支持嵌套结构(如<table>、<div>、<section>)、层叠样式(CSS可编码字体、间距、对齐)以及可执行渲染,从而在保留内容的同时也保留了可被浏览器还原的视觉语义。

基准构成与评估协议

AmbiHTMLBench包含1,115个多样化的页面,并配有结构化标注。评估采用两种互补方式:

  • 客观协议:对齐真实与预测的渲染块,测量表格保真度、页面级文本错误以及二维布局一致性。
  • 参考锚定协议:通过将LLM评判与人类偏好对齐,测量感知保真度。

这种双轨设计揭示了自动分解与人类感知保真度所捕捉的互补属性。

参考锚定协议(reference-anchored protocol)是一种评估生成结果的策略:它不要求预测与真实值逐像素完全一致,而是将真实文档作为参考锚点,让评判模型在参考上下文中判断预测输出的感知质量。具体到本基准,LLM评判被要求比较预测HTML的渲染效果与真实页面在视觉保真度上的差异,并通过与人类偏好标注对齐来校准评分。这种协议的价值在于捕捉传统客观指标难以量化的属性,例如阅读顺序的自然性、视觉层次是否清晰、局部样式是否协调。客观协议则基于渲染块对齐,计算表格结构匹配、页面级文本错误率和二维布局重叠度等确定性指标。两者结合,既能提供可复现的量化信号,又能反映人类对文档还原质量的真实感知。

主要发现与模型表现

在十个主要多模态系统上测试,最佳客观得分为0.8092,而主观胜出者却不同。这表明客观指标与人类感知并不总是一致,二者相辅相成。研究者还微调了一个小参数专家模型,发现任务特定适配在文档到HTML重建任务上能取得良好性能。这些结果将AmbiHTMLBench定位为构建更智能、更合逻辑的文档解析系统的诊断测试平台。

任务特定适配(task-specific adaptation)在这里指在通用多模态大模型之外,针对“文档到HTML重建”这一特定任务进行参数高效微调。研究者微调的小参数专家模型通常采用低秩适配(LoRA)或类似方法,仅更新少量参数,从而在保持基座模型通用能力的同时,让模型专注于学习文档布局与HTML标签之间的映射关系。这种做法在文档解析中尤其有效,因为该任务的输出空间高度结构化(标签、属性、嵌套层级),与通用视觉问答的开放输出分布差异较大。实验表明,经过任务特定适配的小模型可以在客观指标上接近甚至超过更大的通用系统,说明数据分布和任务对齐比单纯增加参数量更能提升文档重建的保真度。

对文档解析领域的启示

AmbiHTMLBench的出现标志着文档解析评估从单纯的文本提取转向对结构、布局和视觉保真度的综合考量。对于需要高保真还原的文档处理场景,HTML表示提供了更丰富的可能性。同时,基准揭示的客观与主观评价差异,提醒研究者在优化模型时需兼顾自动指标与人类感知,推动更符合实际需求的解析系统发展。

#AmbiHTMLBench#HTML文档解析#视觉丰富文档#基准测试#多模态系统#文档解析评估
分享:

相关推荐