MFVSR 新基准：视频字幕去除评估走向细粒度

视频字幕去除（Video Subtitle Removal, VSR）是视频修复中一个看似小众、实则高频的需求。无论是搬运二创、跨国内容本地化，还是修复带硬字幕的历史素材，都需要把字幕从画面中干净地抹掉，同时不破坏原有背景。但长期以来，这类方法的评估标准却相当粗糙。新提出的 MFVSR 基准，正是冲着这个评估盲区来的。

现有评估为什么不够用

论文指出，当前 VSR 的评测受限于三个瓶颈：数据集分辨率偏低、测试集零散割裂，以及直接套用通用视频 inpainting 的协议。

通用 inpainting 协议关注的是整帧的重建质量，而字幕去除真正的难点恰恰藏在局部——字幕笔画边缘是否残留、字幕之外的区域有没有被误改、跨帧是否闪烁、有没有漏删或删不干净。这些细粒度问题在全帧指标下几乎被平均掉了。一个方法可能在整帧 PSNR 上表现不错，实际画面里却到处都是残留和抖动。

换句话说，过去的评测无法回答"这个方法到底可靠不可靠"，只能给出一个笼统的相似度分数。

视频 inpainting（视频修复/补全） 是指利用视频中的时空信息，将画面中被遮挡、缺失或不需要的区域（如字幕、水印、划痕、物体）填充为视觉上合理的背景内容，使修复后的视频在单帧和跨帧上都显得自然连贯。与图像 inpainting 相比，视频 inpainting 多了一个时间维度约束：同一被遮挡区域在连续多帧中都要保持纹理、颜色和结构一致，否则人眼极易察觉到闪烁或跳变。

通用视频 inpainting 的评测通常直接计算整帧的重建误差，例如 PSNR、SSIM 或 LPIPS，并把这些全帧指标当作质量分数。这种协议对大范围缺失的重建任务尚可，但对视频字幕去除并不适配：字幕通常只占画面一小块区域，全帧指标会被大量未修改的背景像素“稀释”，局部残留、边缘伪影和跨帧抖动在平均之后几乎不可见。这就是 MFVSR 强调空间解耦与细粒度协议的背景。

MFVSR 的三个核心设计

MFVSR 定位为一个大规模、多风格、面向细粒度与可靠性评估的视频字幕去除基准，其特点集中在数据、多样性和评测协议三方面。

数据规模与来源

基准包含 3,000 对配对视频，覆盖三类来源：Real-HQ（真实高清）、Real-LQ（真实低清）以及 AI-Generated（AI 生成）。此外还有 953 段 in-the-wild 真实视频作为辅助集，用于分析真实世界覆盖情况。

配对视频意味着每个样本都有"带字幕"和"无字幕"的参照，这是做精细评估的前提。把低清和 AI 生成内容纳入进来，也让基准能反映不同画质条件下的鲁棒性，而不是只在理想素材上跑分。

可控的字幕多样性

字幕本身并非千篇一律。MFVSR 覆盖 16 种语言，并从四个维度刻画字幕差异：空间布局、时间行为、视觉风格、语言模式。

这种设计把"字幕"从单一变量拆成了可控的多因素组合。横向排版和纵向排版、静态字幕和滚动/淡入淡出、带描边和纯色、单语和双语混排，对去除算法提出的挑战完全不同。只有当测试集显式覆盖这些维度，方法的能力边界才能被看清楚。

字幕掩码（subtitle mask） 是指逐帧标注出字幕像素所占区域的二值或软边缘掩码，它告诉算法“哪些位置需要被修复”。在视频字幕去除中，掩码的有无构成了两种根本不同的任务设定：

• mask-guided（掩码引导）：算法已知字幕区域，只需专注于把该区域内的像素修复干净。测评时更能反映修复模型本身的能力上限。
• blind（盲去除）：算法不知道字幕在哪里，必须自己先检测或隐式定位字幕，再完成去除。它同时考察检测与修复两个环节，更接近真实落地场景，因为实际应用中往往没有现成掩码。

MFVSR 把这两种设定分开评测，避免掩码引导方法用“已知答案”的优势去和盲去除方法直接比较，也让研究者能清楚看到：性能下降到底来自定位不准，还是来自修复不干净。

信息条件下的空间解耦评测

这是 MFVSR 最具方法论价值的部分。它引入了一种信息条件下的、空间解耦的评测协议：

• 区分 blind（盲去除，不提供字幕掩码）与 mask-guided（掩码引导去除）两种设定；
• 分别度量 Restoration Fidelity（修复保真度，即字幕区域删得干不干净）、Preservation Fidelity（保留保真度，即非字幕区域有没有被误改）、Temporal Fidelity（时间保真度，即跨帧是否稳定）、coverage（覆盖率）以及 failures（失败情况）。

把"修得对不对"和"有没有改坏别的地方"分开度量，是这套协议的关键。传统指标把两者混为一谈，导致一个删得干净但把背景糊掉的方法，和一个保守但残留明显的方法，可能拿到相近的分数。

空间解耦评测 的核心思想是把画面划分为字幕区域与非字幕区域，并分别计算指标，而不是把整帧像素混在一起平均。

具体来说，Restoration Fidelity（修复保真度） 只在字幕区域内度量重建误差，回答“该删的地方删得干不干净”；Preservation Fidelity（保留保真度） 只在字幕以外的区域度量，回答“不该动的地方有没有被误改”。两者分开后，一个方法若为了彻底删除字幕而过度扩散修复，导致背景被模糊或扭曲，它的保留保真度就会明显下降，而这项损失在传统全帧 PSNR 中可能只体现为小数点后的微小波动。

Temporal Fidelity（时间保真度） 则跨帧比较同一区域的修复结果，专门捕捉闪烁、颜色跳变和纹理不稳定。三类保真度再配合覆盖率与失败情况统计，就能把“局部修得好但整体不可靠”的方法识别出来。

六个方法跑出来的结论

论文在六种代表性方法上做了实验，结果揭示出几组在传统全帧指标下被掩盖的显著差异：局部修复质量、区域外保留质量、时间一致性以及全集可靠性之间，存在明显的不一致。

这对实际使用有直接参考意义。一个方法可能在字幕区域修得非常干净，但在非字幕区域引入了难以察觉的改动；也可能单帧效果好，跨帧却持续闪烁。这些维度之间的权衡，只有细粒度协议才能暴露出来。

对 VSR 领域意味着什么

MFVSR 的价值不只是一个更大的测试集。它试图回答的是：我们应该用什么标准判断一个字幕去除方法"好不好"。

当评估从全帧相似度转向空间解耦、时间解耦、可靠性感知的细粒度协议，方法设计的优化目标也会随之改变。研究者可以更明确地针对残留、误改、闪烁分别改进，而不是笼统地追求重建指标。对于需要落地字幕去除的工程场景，这套诊断性的评估框架也提供了更接近真实需求的选型依据。

基准论文本身不提出新方法，但它重新定义了这个任务该怎么被衡量——这往往是推动一个方向真正进步的前提。