概念Contrastive Language-Audio Pretraining
CLAP
对比语言-音频预训练框架,通过对比学习将音频与文本表示对齐,支持零样本音频分类与音频-文本检索任务
时间轴 (近 90 天)
10月7日
音频条件化技术实现上通常借助预训练音频编码器(如 CLAP、EnCodec)将参考音频压缩为嵌入向量,再以交叉注意力或 AdaLN 机制注入生成网络
待验证50%
9月23日
声音描述(Sound Captioning)和事件定位(Event Localization)是音频理解领域的两项核心子任务,通常依赖大规模音频-文本对预训练的多模态模型
待验证50%