TextVBench：视频生成中文字渲染评测的新基准

视频生成的「文字短板」为何难以衡量

现代视频生成模型已经能合成以假乱真的场景，但在处理画面中的文字时却频频翻车：拼错几个字符、漏掉提示词要求的文本，或者让同一段文字在不同帧之间悄然变样。这些问题对于依赖画面文字传达信息的场景（广告、标识、字幕、品牌露出）来说是致命的。

问题在于，衡量这类失败远比想象中困难。最直觉的做法是对每一帧独立运行 OCR，但当一个场景里同时存在多个文字目标、而 OCR 又返回多个带噪声的识别区域时，评测器首先要解决一个归属难题——究竟哪个识别结果对应哪段「本应出现」的文字。这正是 TextVBench 要攻克的核心。

TextVBench 把评测重构为时空对应问题

TextVBench 的关键创新，是把视觉文字评测形式化为一个多目标、多实例的时空对应（spatiotemporal correspondence）问题。换句话说，它不再简单地「识别出什么就算什么」，而是先建立「预期文字」与「实际观测」之间的映射关系，再据此打分。

这一思路带来三个具体的设计差异：

• 目标条件下的候选筛选（target-conditioned candidate selection）：相比让视觉语言模型（VLM）做无约束的自由转写，TextVBench 在已知目标文字的前提下筛选候选区域，大幅降低误判。
• 支持一对多映射：现实中一段目标文字可能被拆分、重复出现在多个 OCR 区域，框架允许一个目标对应多个识别结果。
• 空间保真与时间保真分离：帧级别的空间保真度（单帧文字对不对）与跨帧的时间保真度（文字在时间上是否保持一致）被拆开独立衡量，避免两类问题混在一个分数里。

两条互补的评测赛道

TextVBench 设置了两个相辅相成的赛道：

• TextVBench-T2V：衡量模型根据文本提示（prompt）创建并维持指定文字的能力，考察的是「从无到有」的生成质量。
• TextVBench-Ref2V：衡量模型对参考图像中已有文字的保留能力，考察的是「从有到有」的保持质量。

两条赛道覆盖了视频生成中文字处理的两类典型任务，使得评测结果更具实际参考价值。

时空对应（spatiotemporal correspondence）本是计算机视觉中的经典问题，最初用于描述同一物体在不同帧、不同视角下的特征匹配。TextVBench 将其引入文字评测，意味着评分系统不仅要判断「某帧画面里有没有正确的文字」，还要追踪「同一段文字在时间维度上是否保持身份一致」。这种建模方式能天然处理两类常见失败：一是文字出现在意外位置（空间偏移），二是文字内容在帧间悄然漂移（时间不稳定）。传统逐帧 OCR 只能发现前者，而对后者几乎无感，因为它将每帧视为独立快照，缺乏跨帧关联的机制。

T2V（Text-to-Video）与 Ref2V（Reference-to-Video）的区分对应了商业落地中两类截然不同的需求。T2V 场景的典型案例是广告创意生成：给定一句文案，模型需要在视频中自然渲染出对应的文字。Ref2V 场景则更多出现在产品视频或品牌内容制作中：参考图像里已经有商标、Logo 或标识，要求生成的视频忠实保留这些视觉元素。后者更难的根本原因在于，模型不仅要「写出」正确的字符，还要与参考图的字形风格、颜色、排布保持像素级的高度一致，这对生成模型的细粒度控制能力要求更高。

可追溯的评分体系与诊断能力

TextVBench 用一个长度加权的调和分数（length-weighted harmonic score）来综合上述多个因素。调和平均的特性决定了它对短板敏感——只要某一维度表现差，总分就会被明显拉低，这比简单加权更能反映真实可用性。

除了主分数，框架还提供「额外文字诊断」（extra-text diagnostics），专门暴露那些被单一 OCR 分数掩盖的失败模式，比如模型凭空生成了提示词中没有的文字。

更重要的是，整个基准围绕受控的文字、布局、载体（carrier）、运动等属性组织。这意味着一个聚合分数可以被反向追溯到具体的能力瓶颈——到底是文字内容本身出错，还是版式、承载物或运动模糊导致的问题，都能定位清楚。

调和平均（harmonic mean）区别于算术平均的核心在于其对极端低值的惩罚效应：若精确率为 1 而召回率为 0，算术平均仍有 0.5，调和平均则直接归零。TextVBench 采用长度加权变体，进一步按目标文字的字符长度分配权重，使生成「Hello」和生成「OPEN 24 HOURS」的难度差异得到显式体现。这种设计让短文字的偶发命中不会掩盖长文字的系统性失败，评测结果更能反映模型在真实商用场景（如广告标语、产品序列号）中的实际表现。

实测结果：参考文字越多，模型越吃力

在已评测的模型运行中，MiniMax-H3 在 T2V 赛道取得了 68.32 的 TextVScore，表现最强；而 Ref2V 赛道的最高分为 56.51。两个赛道之间约十余分的差距，说明「保留参考图中已有文字」比「按提示生成文字」更难，这也符合直觉——保真任务对细节一致性的要求更苛刻。

属性切片分析进一步揭示了一个明显规律：当画面中同时存在的参考文字区域数量增加时，分数会出现显著下滑。这说明当前视频生成模型在处理「多文字目标并存」的复杂场景时仍有明显短板，单个文字能对付，一旦目标变多就容易顾此失彼。

对行业的意义

随着视频生成模型从「能动」走向「能用」，文字渲染的准确性正成为落地商用的关键门槛。TextVBench 提供了一套比逐帧 OCR 更严谨的评测范式，把模糊的「文字看起来对不对」转化为可量化、可追溯、可定位瓶颈的指标体系。

对研究者而言，它的属性切片设计让改进方向更清晰；对工程团队而言，T2V 与 Ref2V 的区分有助于针对具体业务场景选型。可以预见，随着这类针对性基准的普及，视频生成模型在文字处理上的进步将变得更可衡量、也更可期待。