UniAVC：统一音视频生成新范式，异步调度破解跨模态难题

音视频联合生成的技术困局

统一音视频创作一直是个棘手问题：让单一模型同时完成文本条件联合合成、双向跨模态生成以及指令引导的编辑，听起来美好，落地却困难重重。现有方法高度依赖配对语料，而这类数据在联合生成场景下本就稀缺，涉及编辑任务时更是凤毛麟角。结果就是，模型把大量精力花在学习单模态数据就能教会的单支生成与编辑能力上，反而忽略了真正需要配对数据才能建模的跨模态耦合关系。

更关键的是，当前系统对音频和视频采用统一的噪声调度策略，这带来了两个被忽视的缺陷。其一，视频的信息密度远高于音频，需要更长时间的高噪声阶段来组织空间与运动结构，而音频信号相对稀疏，本可以更早稳定下来，统一调度可能损害这种动态差异。其二，同步去噪让不对称工作流——比如以某一模态为条件来合成或编辑另一模态——完全处于未训练状态，模型无法胜任这类实际需求。

扩散模型与噪声调度：当前主流的音视频生成模型多基于扩散模型（Diffusion Model），其核心思想是从纯噪声出发，通过逐步去噪还原出目标数据。噪声调度（noise schedule）决定了每个时间步的噪声强度，直接影响去噪节奏。视频因包含空间结构与运动信息，信息密度高，通常需要在高噪声阶段停留更久以组织全局结构；音频信号相对稀疏、时序连续性强，可较早进入低噪声阶段稳定下来。统一调度意味着两个模态被迫共享同一去噪节奏，难以兼顾各自的信息特性。

配对语料与非对称工作流：配对语料指音视频成对且语义对齐的数据，是学习跨模态耦合关系的关键。非对称工作流指以一个模态为条件生成或编辑另一模态的任务，例如给定视频生成匹配音频，或给定音频编辑视频内容。这类任务在训练中若未被显式覆盖，模型便无法在推理时胜任。

UniAVC 的渐进式训练策略

针对配对数据稀缺的痛点，UniAVC 提出了一套分阶段训练方案。它先让每个分支在单模态数据集上训练到具备完整的生成与编辑能力，这一步充分利用了丰富的单模态数据。随后，才将宝贵的配对数据专门用于挖掘跨模态对应关系。这种“先单后双”的思路，把配对数据的价值集中在跨模态耦合上，而不是浪费在单支任务上。

这种渐进式训练还带来了额外好处：模型在单模态阶段就建立了扎实的生成基础，后续跨模态训练不必从零开始学习表征。相比端到端直接训练，这种策略在数据效率上更有优势，也更容易扩展到新任务。

模态解耦调度器与非对称配置

UniAVC 的核心创新之一是模态解耦调度器。它从共享时间步出发，为每个模态独立地扭曲噪声调度，让视频和音频各自拥有适合自身信息密度的去噪节奏。这样，视频可以在高噪声阶段停留更久以构建结构，音频则能更早收敛。

另一项关键设计是对非对称配置的直接监督。对于只有一个干净模态的子任务，训练时直接让这种配置参与监督，模型因此学会了“以一动一静”的方式工作——保留一个模态完整，同时用它约束另一个模态的生成。这解锁了两类实用能力：意图感知编辑，即在保持某一模态不变的前提下编辑另一模态；以及推理后自 refinement，即对已接受的一个分支，只重新生成不满意的另一个分支，而不必整体重来。

噪声调度扭曲（schedule warping）：UniAVC 的模态解耦调度器并非简单地为两个模态设定不同的总步数，而是从共享的时间步轴出发，对每个模态施加独立的时间扭曲函数，将均匀时间步映射到各自的噪声水平曲线上。这样，视频和音频在相同的采样步数下可以经历不同的噪声强度变化轨迹，实现“同一时钟、不同节奏”的去噪过程。该设计的关键在于扭曲函数需保持单调性，以确保去噪过程可逆且稳定。

自 refinement 与意图感知编辑：自 refinement 指在联合生成后，对已接受的一个模态保持不变，仅对另一个不满意模态重新采样去噪，从而以较低成本提升整体质量。意图感知编辑则要求模型理解“保持某模态不变、按指令修改另一模态”的意图，这依赖于训练时对非对称配置的直接监督，使模型学会在条件约束下生成目标模态。

单一权重覆盖多任务

得益于上述设计，UniAVC 用一套权重就能覆盖多种创作任务，无需为每个任务单独挂适配器。从联合生成到跨模态编辑，再到自 refinement，模型在统一框架内灵活切换。这对于实际部署意义重大——减少模型数量、降低维护成本，也让跨任务的知识共享成为可能。

当然，这套方案的有效性仍取决于配对数据的质量与规模，以及解耦调度器在不同模态组合下的调参鲁棒性。但就思路而言，UniAVC 把跨模态耦合作为训练重心，而非让模型在单支任务上过度消耗，这一视角转换值得关注。