三模态掩码扩散模型

最新研究提出了首个从零开始预训练的三模态掩码扩散模型，在文本、图文和音频-文本数据上同步训练。

三模态从零预训练的做法代价是更高的计算需求，潜在收益是更自然的跨模态生成能力。

该研究优化了推理采样默认参数，可直接借鉴以减少调参成本。