TIDE：将文本到视频提示优化蒸馏为可复用技能

文本到视频（T2V）生成模型对提示词的精确度极为敏感——同一个创意，换个说法，出来的视频可能天差地别。为了解决这个问题，研究者通常采用"生成-评估-再生成"的迭代搜索策略：反复调用T2V模型生成视频，再用视觉语言模型（VLM）打分，直到找到满意结果。这种方法虽然有效，却极其昂贵，且每次优化都等同于一次独立的搜索过程，无法积累经验。

近日，一个名为 TIDE（Trajectory-Informed Skill Distillation）的框架提出了不同的思路：将这种耗时的搜索过程蒸馏为一个可解释、可复用的提示改写技能。该工作已在GitHub开源（github.com/xiningin/TIDE_T2V）。

核心思路：从"每次搜索"到"学会改写"

TIDE的核心洞察在于，提示优化的本质是一套可以被学习和复用的规则，而非每次从零开始的搜索。

具体来说，TIDE将提示改写建模为一组源条件规则模块（source-conditioned rule modules），每个模块针对一个独立的语义维度——比如主体描述、动作细节、场景光照、镜头运动等。这种模块化设计让整个改写过程具有可解释性：用户可以看到哪些维度被调整了、如何调整的。

关键区别在于，TIDE不需要在推理阶段进行视觉搜索或微调骨干模型。一旦技能被蒸馏出来，它会在一次LLM调用中激活相关规则，同时生成正向和负向提示词（positive and negative prompts），然后只执行一次T2V生成。整个过程没有测试时的视觉反馈循环。

源条件规则模块（source-conditioned rule modules）中的"源条件"指的是规则模块的激活以"源提示词"（即用户输入的原始提示）为条件。例如一个负责"镜头运动"维度的模块，只有当源提示词涉及或隐含某种运镜需求时才会被激活并产生改写建议，而非对每条提示都无差别地套用所有规则。这种设计借鉴了混合专家（MoE）中条件路由的思想，使得系统在保持模块化可解释性的同时，避免无关维度的规则互相干扰。每个模块本质上是一段结构化的自然语言指令或若干条改写范式，由LLM在推理时据此对源提示进行定向修改，因此整个改写过程既能被人类阅读，也能被程序化组合。

训练效率：100条提示、14小时

TIDE的训练成本远低于同类方法。据论文描述，整个进化过程仅使用100条提示词、耗时14小时。

这个数据值得关注。传统的基于搜索的提示优化方法需要在推理时反复生成视频并评估，计算开销随优化轮次线性增长。而TIDE将这部分成本前置到一次性蒸馏中，推理时几乎零额外开销。论文声称，经过蒸馏的TIDE在提示优化性能上与计算昂贵的搜索方法相当。

换句话说，TIDE用一次性投入换来了持续的效率优势——这种"训练一次、推理永久受益"的模式，与当前大模型领域从prompt engineering向skill distillation演进的趋势一致。

技能蒸馏（skill distillation）是本文的核心范式，指把某种依赖大量试错才能获得的隐性能力（如"怎样改写提示才能让视频模型输出更好结果"），压缩成一份显式的、可被直接调用的规则资产。它与知识蒸馏（knowledge distillation）的区别在于，后者通常是把大模型的能力迁移到小模型，而技能蒸馏迁移的是"做事的方法"而非"模型的参数"。在T2V提示优化语境下，被蒸馏的对象是搜索轨迹中沉淀下来的改写规律——原始搜索过程会产生大量（原始提示→改写提示→评分）的样本，蒸馏就是从中提炼出稳定的、跨样本可复用的改写规则。训练一次、推理永久受益的模式，因此对高频调用T2V模型的业务尤其有吸引力。

跨模型迁移：未见模型上的表现

更说个细节TIDE的迁移能力。

当TIDE被迁移到之前未见过的视频生成模型上时，它超越了那些专门为该模型设计或训练的方法。这一点颇具启发：TIDE学到的可能不是某个特定模型的偏好，而是更通用的"好提示词应该长什么样"的知识。

这意味着提示改写技能具有一定的模型无关性。对于需要频繁切换T2V模型（比如因成本、可用性或质量考量）的应用场景，这种可迁移性具有实际价值——不必为每个模型重新训练一套优化策略。

模型无关性（model-agnostic）在这里意味着TIDE学到的改写规则不编码某个特定T2V模型的参数偏好，而是对应通用视频生成任务的共性要求，如主体清晰、动作明确、光照与镜头可控。这一点与提示工程的常见困境形成对照：为模型A精调出的提示模板往往在模型B上失效，因为不同模型对句式、关键词权重、描述粒度的敏感度不同。TIDE能够超越目标模型的专用方法，暗示其规则捕获的是更接近"视觉语言的通用语法"的东西，而不是特定模型的怪癖。这也解释了为何它适合需要频繁切换模型的应用场景。

行业视角：提示优化正在走向"技能化"

TIDE反映了一个更广泛的趋势：AI社区正在从手工prompt engineering转向系统化的技能蒸馏。

手工调提示词依赖个人经验和反复试错，难以规模化和复用。而TIDE这类方法试图将隐性的"提示技巧"显式化为规则模块，使其可解释、可迁移、可复用。对内容创作者和AI应用开发者而言，这意味着未来可能不再需要为每个模型单独摸索提示词写法，而是调用经过蒸馏的通用改写技能。

当然，TIDE目前仅针对T2V场景，其规则模块能否扩展到图像生成、3D生成或其他多模态任务，仍有待验证。14小时的训练时间虽然不算长，但对于快速迭代的应用场景，如何进一步压缩蒸馏成本也是值得关注的方向。

开源代码的发布为后续研究提供了基础。T2V模型对提示敏感这一痛点短期内不会消失，而将优化过程资产化的思路，可能是比"更好的prompt模板"更具长期价值的方向。

负向提示词（negative prompt）是T2V和图像生成模型中的常见控制手段，用于显式告诉模型"不要生成什么"，如模糊、畸变、多余肢体、水印等。它与正向提示词配合，共同约束生成空间。TIDE同时生成正负向提示这一设计的意义在于，许多画质与结构问题用"加正面描述"很难消除，而用"明确指出要避免什么"往往更高效。让规则模块同时输出两类提示，相当于把提示优化从"增强想要的内容"扩展为"同时抑制不想要的内容"，覆盖面更完整，也更贴近资深玩家手工调提示的实际做法。