FlowTranslator
一种免训练的图像内机器翻译(IIMT)框架,基于文本到图像扩散模型的流编辑,通过OCR识别、LLM翻译提示和轨迹控制生成译文图像,无需配对训练数据。
时间轴 (近 90 天)
FlowTranslator是一种无需训练的IIMT方法,利用T2I扩散模型的多语言文本生成能力,通过流编辑实现图像内文字翻译。
Region Coupling Release (RCR) 在扩散过程早期阶段部分解耦文本区域内的目标分支噪声,让模型在文本区域有更大自由度进行修改。
Coupling Expansion (CE) 在轨迹中期放大新出现的编辑位移,使编辑效果更明显、更彻底。
在EasyOCR回读协议下,FlowTranslator取得了平均PRIM BLEU 20.6和COMET 57.2的成绩,显著优于强训练基线UniTranslator。
在真实场景照片数据集ScenePair(翻译为中文)上,FlowTranslator达到了40.1%的精确匹配准确率。
FlowTranslator在ScenePair上的表现超越了现有的编辑系统,其中一些系统仅处理文本渲染阶段而非完整的IIMT任务。
FlowTranslator目前仍依赖OCR和LLM的准确性,未来需要提升复杂场景下的鲁棒性。
全部知识事实 (7)
FlowTranslator是一种无需训练的IIMT方法,利用T2I扩散模型的多语言文本生成能力,通过流编辑实现图像内文字翻译。
50%待验证Region Coupling Release (RCR) 在扩散过程早期阶段部分解耦文本区域内的目标分支噪声,让模型在文本区域有更大自由度进行修改。
50%待验证Coupling Expansion (CE) 在轨迹中期放大新出现的编辑位移,使编辑效果更明显、更彻底。
50%待验证在EasyOCR回读协议下,FlowTranslator取得了平均PRIM BLEU 20.6和COMET 57.2的成绩,显著优于强训练基线UniTranslator。
50%待验证在真实场景照片数据集ScenePair(翻译为中文)上,FlowTranslator达到了40.1%的精确匹配准确率。
50%待验证FlowTranslator在ScenePair上的表现超越了现有的编辑系统,其中一些系统仅处理文本渲染阶段而非完整的IIMT任务。
50%待验证FlowTranslator目前仍依赖OCR和LLM的准确性,未来需要提升复杂场景下的鲁棒性。
50%