LLaDA
基于扩散机制的大语言模型，采用逐步去噪方式生成文本，与主流自回归LLM路线不同
时间轴 (近 90 天)
扩散语言模型（如 LLaDA、Dream）采用迭代掩码解码，从全掩码序列出发经过若干去噪步骤逐步揭示 token，且每步对整条序列做双向注意力，已揭示 token 的表示会因新揭示的 token 而更新。
在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
Unsloth 现在支持训练和对话 LLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion 和 DiffusionGemma 等文本扩散语言模型。
Unsloth v0.1.906 新增 DiffusionTrainer，可训练 DiffusionGemma、LLaDA、LLaDA2、Dream、Nemotron 和 SDAR 等文本扩散语言模型。
全部知识事实 (4)
扩散语言模型（如 LLaDA、Dream）采用迭代掩码解码，从全掩码序列出发经过若干去噪步骤逐步揭示 token，且每步对整条序列做双向注意力，已揭示 token 的表示会因新揭示的 token 而更新。
50%待验证在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
50%待验证Unsloth 现在支持训练和对话 LLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion 和 DiffusionGemma 等文本扩散语言模型。
50%待验证Unsloth v0.1.906 新增 DiffusionTrainer，可训练 DiffusionGemma、LLaDA、LLaDA2、Dream、Nemotron 和 SDAR 等文本扩散语言模型。
50%