待验证50% 置信事实精确时间
扩散语言模型（dLLM）的骨架与 BERT 类掩码语言模型高度相似：训练时随机遮盖一部分 token，让模型根据剩余上下文还原。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证BERT采用双向编码器架构，通过掩码语言模型预训练，随机遮盖15%的token并预测它们75% 相似待验证近期一篇论文提出将连续隐空间框架直接耦合到连续扩散语言模型（dLLM）上，用学习到的语言分布替换随机映射，以生成更自然的对抗提示。74% 相似待验证LLM训练过程中存在记忆化（memorization）现象，模型可能逐字存储训练数据片段并在推理时再现71% 相似待验证免训练文本嵌入指不微调模型参数，直接利用预训练语言模型（如LLM）的中间隐藏状态或输出作为句子表示的方法。71% 相似待验证Diffusion Language Model（DLM）先初始化整段序列为噪声再通过多步去噪还原文本，可并行处理整条序列并天然支持在固定候选集合上打分70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1102712API
curl https://kongchang.com/api/v1/knowledge/claims/1102712MCP
get_claim(id=1102712)