[控场AI]
模型Dream LLM

Dream

文本扩散语言模型的代表工作之一,通过去噪过程生成文本,在某些推理任务上表现与同规模自回归模型相当

时间轴 (近 90 天)

10月30日

扩散语言模型(如 LLaDA、Dream)采用迭代掩码解码,从全掩码序列出发经过若干去噪步骤逐步揭示 token,且每步对整条序列做双向注意力,已揭示 token 的表示会因新揭示的 token 而更新。

待验证50%
10月30日

在 LLaDA 和 Dream 模型上,于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估,dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。

待验证50%
10月29日

Dream 已从知名风投 a16z 获得 1700 万美元融资。

待验证50%
10月29日

Dream 是一家由前 Palantir 高管创立的初创公司,目标是利用 AI 世界模型改造建筑业。

待验证50%
10月29日

Dream 的模型训练依赖于超过 1 亿平方英尺的建筑许可数据。

待验证50%
10月29日

Dream 明确将 Autodesk 视为竞争对手。

待验证50%
10月29日

目前 Dream 尚未披露产品细节。

待验证50%
10月29日

部分分析认为“1 亿平方英尺建筑许可数据”可能是训练数据的覆盖范围而非精确训练集大小。

待验证50%
10月29日

有观点认为 Dream 更可能成为 Autodesk 生态的补充而非直接替代。

待验证50%
10月21日

Dream的Manhunt系列视频宣称所有追猎画面真实且无剪辑,但DarkSpark开发工具通过分析游戏内HUD的细微变化找到了46处隐藏剪辑点。

待验证50%

还有 5 条时间轴事件

全部知识事实 (15)

待验证

扩散语言模型(如 LLaDA、Dream)采用迭代掩码解码,从全掩码序列出发经过若干去噪步骤逐步揭示 token,且每步对整条序列做双向注意力,已揭示 token 的表示会因新揭示的 token 而更新。

50%
待验证

在 LLaDA 和 Dream 模型上,于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估,dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。

50%
待验证

部分分析认为“1 亿平方英尺建筑许可数据”可能是训练数据的覆盖范围而非精确训练集大小。

50%
待验证

Dream 的模型训练依赖于超过 1 亿平方英尺的建筑许可数据。

50%
待验证

Dream 明确将 Autodesk 视为竞争对手。

50%
待验证

目前 Dream 尚未披露产品细节。

50%
待验证

Dream 是一家由前 Palantir 高管创立的初创公司,目标是利用 AI 世界模型改造建筑业。

50%
待验证

有观点认为 Dream 更可能成为 Autodesk 生态的补充而非直接替代。

50%
待验证

Dream的Manhunt系列视频宣称所有追猎画面真实且无剪辑,但DarkSpark开发工具通过分析游戏内HUD的细微变化找到了46处隐藏剪辑点。

50%
待验证

在正常Minecraft渲染中,快捷栏和物品栏界面由同一个渲染循环驱动,状态更新发生在同一帧;Dream‘船救援’片段中快捷栏更新比物品栏界面快一帧,表明视频被合成或逐帧编辑过。

50%
待验证

DarkSpark将饥饿条可能对应的游戏刻做成可搜索数据库,配合计算机视觉识别视频中的饥饿条图案,可估算视频每一帧对应的游戏内时间;无剪辑视频的时间戳应单调递增,而Dream的视频出现多个断崖式下跌。

50%
待验证

Dream 已从知名风投 a16z 获得 1700 万美元融资。

50%
待验证

Unsloth 现在支持训练和对话 LLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion 和 DiffusionGemma 等文本扩散语言模型。

50%
待验证

Unsloth v0.1.906 新增 DiffusionTrainer,可训练 DiffusionGemma、LLaDA、LLaDA2、Dream、Nemotron 和 SDAR 等文本扩散语言模型。

50%
待验证

Meta与相关实验室推出Dream模型,用单一模型完成图像理解与文生图,先生成草稿再自行评估完善,据称处理速度提升约10%

50%

来源文章