REPA
一种表示对齐方法，利用预训练视觉编码器通过MLP投影头监督扩散骨干网络的中间层，训练后丢弃投影头以加速收敛。
时间轴 (近 90 天)
论文《Representation Conditioning for Generation》提出了RECON方法，在不增加任何参数的前提下，将扩散Transformer训练收敛速度提升至SiT的63倍、REPA的25倍。
REPA使用预训练视觉编码器，通过MLP投影头对扩散骨干网络的中间层进行监督，训练完成后投影头被丢弃，不增加推理时计算量。
REPA的对齐损失仅作用于前层，后层仅由速度预测损失监督，缺乏语义信息传递机制，这是REPA的结构性缺陷。
REPA负责前层语义对齐，RECON负责后层语义条件化，两者互补而非冲突。
REPA与RECON的区别在于：REPA是损失层面的软约束（让骨干特征拟合编码器特征），RECON是输入层面的硬信息（将编码器特征直接作为输入喂给骨干）。
REPA和RECON的工作表明，扩散Transformer前层学到的语义信息未必能自动流向后层，分层、分阶段地设计监督信号可能是提升训练效率的一个被低估的方向。
全部知识事实 (6)
论文《Representation Conditioning for Generation》提出了RECON方法，在不增加任何参数的前提下，将扩散Transformer训练收敛速度提升至SiT的63倍、REPA的25倍。
50%待验证REPA使用预训练视觉编码器，通过MLP投影头对扩散骨干网络的中间层进行监督，训练完成后投影头被丢弃，不增加推理时计算量。
50%待验证REPA的对齐损失仅作用于前层，后层仅由速度预测损失监督，缺乏语义信息传递机制，这是REPA的结构性缺陷。
50%待验证REPA负责前层语义对齐，RECON负责后层语义条件化，两者互补而非冲突。
50%待验证REPA与RECON的区别在于：REPA是损失层面的软约束（让骨干特征拟合编码器特征），RECON是输入层面的硬信息（将编码器特征直接作为输入喂给骨干）。
50%待验证REPA和RECON的工作表明，扩散Transformer前层学到的语义信息未必能自动流向后层，分层、分阶段地设计监督信号可能是提升训练效率的一个被低估的方向。
50%