概念自适应层归一化 / Adaptive Layer Normalization
AdaLN
一种自适应层归一化技术,根据条件信息动态调整归一化参数,常用于生成模型中增强条件控制。
时间轴 (近 90 天)
10月19日
SteerTTS将所有LayerNorm替换为自适应版本(AdaLN),并通过掩码机制区分'未指定'与'显式设为零':控制项省略时模型从音色、标签和文本中推断合理值,传入{"rate": 0}则明确要求该音色的中性语速。
待验证50%
10月7日
音频条件化技术实现上通常借助预训练音频编码器(如 CLAP、EnCodec)将参考音频压缩为嵌入向量,再以交叉注意力或 AdaLN 机制注入生成网络
待验证50%
9月1日
扩散语言模型的Transformer通常采用双向注意力,需接收时间步信息(通过正弦编码或AdaLN注入),因此标准预训练语言模型权重不能直接复用
待验证50%