Dream
文本扩散语言模型的代表工作之一,通过去噪过程生成文本,在某些推理任务上表现与同规模自回归模型相当
时间轴 (近 90 天)
扩散语言模型(如 LLaDA、Dream)采用迭代掩码解码,从全掩码序列出发经过若干去噪步骤逐步揭示 token,且每步对整条序列做双向注意力,已揭示 token 的表示会因新揭示的 token 而更新。
在 LLaDA 和 Dream 模型上,于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估,dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
Dream 已从知名风投 a16z 获得 1700 万美元融资。
Dream 是一家由前 Palantir 高管创立的初创公司,目标是利用 AI 世界模型改造建筑业。
Dream 的模型训练依赖于超过 1 亿平方英尺的建筑许可数据。
Dream 明确将 Autodesk 视为竞争对手。
目前 Dream 尚未披露产品细节。
部分分析认为“1 亿平方英尺建筑许可数据”可能是训练数据的覆盖范围而非精确训练集大小。
有观点认为 Dream 更可能成为 Autodesk 生态的补充而非直接替代。
Dream的Manhunt系列视频宣称所有追猎画面真实且无剪辑,但DarkSpark开发工具通过分析游戏内HUD的细微变化找到了46处隐藏剪辑点。
还有 5 条时间轴事件
全部知识事实 (15)
扩散语言模型(如 LLaDA、Dream)采用迭代掩码解码,从全掩码序列出发经过若干去噪步骤逐步揭示 token,且每步对整条序列做双向注意力,已揭示 token 的表示会因新揭示的 token 而更新。
50%待验证在 LLaDA 和 Dream 模型上,于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估,dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
50%待验证部分分析认为“1 亿平方英尺建筑许可数据”可能是训练数据的覆盖范围而非精确训练集大小。
50%待验证Dream 的模型训练依赖于超过 1 亿平方英尺的建筑许可数据。
50%待验证Dream 明确将 Autodesk 视为竞争对手。
50%待验证目前 Dream 尚未披露产品细节。
50%待验证Dream 是一家由前 Palantir 高管创立的初创公司,目标是利用 AI 世界模型改造建筑业。
50%待验证有观点认为 Dream 更可能成为 Autodesk 生态的补充而非直接替代。
50%待验证Dream的Manhunt系列视频宣称所有追猎画面真实且无剪辑,但DarkSpark开发工具通过分析游戏内HUD的细微变化找到了46处隐藏剪辑点。
50%待验证在正常Minecraft渲染中,快捷栏和物品栏界面由同一个渲染循环驱动,状态更新发生在同一帧;Dream‘船救援’片段中快捷栏更新比物品栏界面快一帧,表明视频被合成或逐帧编辑过。
50%待验证DarkSpark将饥饿条可能对应的游戏刻做成可搜索数据库,配合计算机视觉识别视频中的饥饿条图案,可估算视频每一帧对应的游戏内时间;无剪辑视频的时间戳应单调递增,而Dream的视频出现多个断崖式下跌。
50%待验证Dream 已从知名风投 a16z 获得 1700 万美元融资。
50%待验证Unsloth 现在支持训练和对话 LLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion 和 DiffusionGemma 等文本扩散语言模型。
50%待验证Unsloth v0.1.906 新增 DiffusionTrainer,可训练 DiffusionGemma、LLaDA、LLaDA2、Dream、Nemotron 和 SDAR 等文本扩散语言模型。
50%待验证Meta与相关实验室推出Dream模型,用单一模型完成图像理解与文生图,先生成草稿再自行评估完善,据称处理速度提升约10%
50%