免训练图像翻译框架FlowTranslator：基于流编辑的IIMT新范式

图像内机器翻译（In-Image Machine Translation, IIMT）的目标是在保留图像视觉上下文的同时，将图片中的文字替换为译文。传统方法依赖大量翻译前后的配对图像训练专用模型，而FlowTranslator提出了一种无需训练的替代方案。它利用先进文本到图像（T2I）扩散模型的多语言文本生成能力，通过流编辑实现高质量的图像翻译。

核心思路：迁移T2I模型能力，无需配对数据

现有IIMT模型虽然效果不错，但需要海量配对训练图像。FlowTranslator的作者认为，当前T2I模型已经具备可用的多语言文本生成能力，这种能力可以直接迁移到IIMT任务中。FlowTranslator的流程是：先用OCR模型识别图像中的文字，再通过LLM生成翻译提示，最后将提示注入基于T2I的扩散模型，生成替换文字后的图像。整个过程无需任何针对IIMT的训练。

这一思路的关键在于，T2I模型本身已经学会了如何生成多语言文本，FlowTranslator只是通过提示工程和轨迹控制，引导模型在指定区域内生成目标语言的文字，同时保持图像其他部分不变。

文本到图像扩散模型（Text-to-Image Diffusion Model，T2I）是一类生成模型，其核心是通过逐步去噪过程，将随机噪声转化为与文本提示匹配的图像。近年来，随着模型规模与训练数据的增长，T2I模型在多语言文本生成方面表现出显著进步——即能够根据提示在图像中生成特定语言的文字。这种能力依赖于模型对字符形状、排版规律以及语言上下文的学习。FlowTranslator正是利用了这一特性：它不重新训练模型，而是通过提示工程（设计翻译提示）和轨迹控制（干预扩散过程），引导模型在指定区域生成目标语言文本，同时保持图像其余部分不变。因此，理解T2I模型的多语言文本生成能力是理解FlowTranslator无需配对数据的关键。

轨迹控制：Region Coupling Release与Coupling Expansion

为了优化翻译文本生成的准确性和自然度，FlowTranslator引入了两种轨迹控制技术。

Region Coupling Release (RCR) 在扩散过程的早期阶段，部分解耦文本区域内的目标分支噪声，让模型在文本区域有更大的自由度进行修改。

Coupling Expansion (CE) 则在轨迹中期放大新出现的编辑位移，使编辑效果更明显、更彻底。

这两种控制手段共同作用，确保生成的译文既准确又自然地融入原图。

扩散模型的轨迹指的是从纯噪声到生成图像的迭代去噪路径。在标准扩散采样中，每一步都依赖于前一步的噪声估计，轨迹由模型和初始噪声共同决定。FlowTranslator中的轨迹控制技术通过干预这一过程来实现局部编辑。具体来说，Region Coupling Release（RCR）在早期阶段部分解耦文本区域内的目标分支噪声，相当于放松了该区域与原始图像的耦合，允许模型更自由地修改文本内容；而Coupling Expansion（CE）在轨迹中期放大新出现的编辑位移，增强编辑信号的强度，使译文更明显、更彻底。这两种技术共同作用，确保翻译文本既准确又自然地融入原图，而无需重新训练模型。

实验结果：超越训练基线，在真实场景中表现强劲

在EasyOCR回读协议下，FlowTranslator取得了平均PRIM BLEU 20.6和COMET 57.2的成绩，显著优于强训练基线UniTranslator。在更具挑战性的真实场景照片（ScenePair，翻译为中文）上，它达到了40.1%的精确匹配准确率，并超越了现有的编辑系统——其中一些系统仅处理文本渲染阶段，而非完整的IIMT任务。

这些结果表明，基于流的编辑可以作为一个强大的、完全无需训练的IIMT基线。FlowTranslator的出现，为图像翻译领域提供了一条不依赖大规模配对数据的新路径，尤其适合快速部署和多语言场景。

PRIM BLEU和COMET是机器翻译领域常用的自动评估指标。PRIM BLEU基于n-gram精确率，衡量生成译文与参考译文的词汇重叠程度，值越高表示译文越接近参考；COMET则基于预训练的多语言模型，评估译文的语义质量，对词序变化和同义替换更鲁棒。EasyOCR回读协议是指先用OCR模型识别生成图像中的文字，再与参考译文比较，从而评估图像内翻译的准确性。精确匹配准确率（Exact Match Accuracy）则要求生成的译文与参考译文完全一致，是一个更严格的指标。这些指标共同构成了对FlowTranslator性能的量化评估。

意义与展望

FlowTranslator的价值在于它降低了IIMT的门槛：不需要收集和标注配对图像，直接利用现成的T2I模型和LLM即可完成翻译。这为内容创作者、电商、本地化服务等需要快速处理图像文字的领域提供了实用工具。当然，该方法目前仍依赖OCR和LLM的准确性，未来如何进一步提升复杂场景下的鲁棒性，是值得关注的方向。