inkGround：评测视觉语言模型对连笔手写的细粒度视觉定位能力

手写轨迹恢复：从静态图像到动态笔迹

人类手写是以有序的笔尖运动序列产生的，但离线图像只保留了最终的墨迹。手写轨迹恢复（Handwriting Trajectory Recovery）旨在从静态手写图像中还原有序的笔尖轨迹点及其抬笔/落笔状态。这一任务在签名验证、笔迹鉴定、教育评估和数字化存档等场景中具有实际价值。

现有图像-轨迹配对数据集通常由数字化平板在受控条件下采集，书写者覆盖范围和书写风格多样性都受到限制。更关键的是，目前缺乏一个基准来衡量通用视觉语言模型（VLM）在笔画轨迹恢复任务上的视觉定位能力。针对这一空白，研究者提出了 inkGround 基准。

inkGround 基准概览

离线手写与在线手写是笔迹分析中的一组基础区分。在线手写（online handwriting）由数字化设备在书写过程中实时记录，除字形外还包含笔尖的时序坐标、压力、速度等信息，因此天然带有轨迹序列；离线手写（offline handwriting）则只保留书写完成后的静态图像（如扫描件、照片），时间维度完全丢失。手写轨迹恢复要解决的正是“从离线反推在线”的逆问题——图像中墨迹的空间邻接关系并不等价于真实书写顺序，笔画交叠、连笔和抬笔位置都需要依据视觉线索推断，这使该任务本质上是一个欠定的、带序列约束的生成问题。

inkGround 基准的构建与特点

inkGround 是一个面向全页、相机拍摄手写图像的笔画轨迹恢复基准。它包含 537 页图像，约 1.87 万个单词、约 16.3 万条笔画。每页图像都配对了参考轨迹，这些轨迹由预训练的离线到在线模型生成，并通过 OCR 一致性过滤和人工评分者验证。

由于这些参考轨迹是伪标签，仅代表一种可能的笔尖轨迹，研究者还在 IAM-OnDB 数据集上评估了 VLM，该数据集提供了真实录制的笔尖轨迹。这种双数据集设计增强了评估的可靠性：inkGround 覆盖自然场景下的全页手写，IAM-OnDB 提供受控条件下的真实轨迹参照。

任务形式：文本条件点定位

inkGround 将任务定义为文本条件点定位：给定一页图像和一个目标单词，模型必须定位该单词并输出其有序的笔画点。这一形式将视觉定位与轨迹生成紧密结合，要求模型同时具备细粒度空间理解和序列建模能力。

文本条件点定位（text-conditioned point grounding）是视觉定位（visual grounding）任务在点级粒度上的变体。传统视觉定位给定一句指代文本，要求模型在图像中输出目标对象的边界框；点定位则把输出细化为坐标点集合，不再只回答“在哪里”，而要求逐点刻画目标的空间结构。在本任务中，文本条件是一个具体单词，模型既要完成文字识别意义上的单词定位，又要把该单词的墨迹还原为有序的二维点序列，因此它同时考察了细粒度空间感知、字符分割与序列生成三方面能力，这也是通用 VLM 容易暴露短板的环节。

评测指标与模型阵容

输出通过多个维度进行评分：

轨迹保真度：使用 DTW（动态时间规整）和 Chamfer 距离衡量生成轨迹与参考轨迹的接近程度。
可读性：渲染笔画的准确率（Accurate Rate）和正确率（Correct Rate）。
风格相似度：评估生成轨迹与参考书写的风格一致性。

研究者使用共享的上下文提示对四个开源 VLM 和三个前沿闭源 VLM 进行了基准测试。闭源模型（尤其是 Gemini-3.1-Pro）生成的轨迹清晰可读，接近参考轨迹；这一排名在 IAM-OnDB 数据集上同样成立。

DTW（动态时间规整，Dynamic Time Warping） 用于衡量两条长度可能不同、且存在时间错位或局部伸缩的点序列之间的相似度。它通过动态规划寻找一条最优对齐路径，使累积的点对距离最小，从而允许一个序列在时间轴上非线性地“拉伸”去匹配另一个序列。这正好契合轨迹评估的特点：即使生成轨迹与参考轨迹的整体形状一致，只要书写速度节奏或分段方式不同，逐点欧氏距离就会严重失真，而 DTW 能在对齐后给出更合理的保真度度量。与之互补的 Chamfer 距离则忽略点序，只计算两片点集中每个点到对方最近点的平均距离，侧重衡量空间形状的接近度。两者结合，可分别从序列对齐与空间分布两个角度评价恢复轨迹。

关键发现与行业启示

评估结果显示，闭源前沿模型在连笔手写轨迹恢复任务上明显优于开源模型。Gemini-3.1-Pro 在轨迹保真度和可读性方面表现突出，生成的笔画轨迹接近参考水平。这种优势在 IAM-OnDB 的真实轨迹数据上得到复现，说明该排名并非仅由伪标签特性导致。

对开发者而言，inkGround 提供了一个可复现的评测框架，可用于比较不同 VLM 在手写视觉定位任务上的能力。对研究者来说，基准揭示了当前通用 VLM 在细粒度笔迹理解上的差距，也为后续模型改进指明了方向：提升对连笔手写的空间定位精度和笔画序列建模能力。

随着视觉语言模型向更多垂直场景渗透，类似 inkGround 这类针对特定能力维度的细粒度基准将变得越来越重要。它们不仅衡量模型“能不能看懂”，更追问模型“能看多细、能还原多准”。

伪标签指并非由人工或真实设备直接采集，而是由已有模型自动生成、再经筛选与验证的标注。在 inkGround 中，参考轨迹来自预训练的离线到在线模型，由于同一静态图像理论上可对应多种合理的书写顺序，单条伪标签只代表其中一种可能的笔尖轨迹，而非唯一的真值。这正是研究者引入 IAM-OnDB 作为补充的原因：后者提供真实录制的笔尖轨迹，可用真实数据校验在伪标签上得到的模型排名是否稳健。理解伪标签的这一性质，有助于正确解读基准中“接近参考轨迹”的具体含义——它衡量的是与某一种合理轨迹的吻合度，而非绝对正确性。