待验证50% 置信事实精确时间
MTP（多 token 预测）在训练阶段增加额外预测头，一次前向同时预测未来多个 token，无需独立草稿模型，但候选 token 间缺乏自回归依赖，接受率通常低于专门投机解码方法。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证MTP的多步预测目标使训练内存开销约增加15-25%，且需仔细调整各预测头损失权重以避免主任务性能退化72% 相似待验证预训练阶段模型通过自监督学习方式（通常是下一个 token 预测任务）在海量文本语料（通常达数万亿 token 规模）上进行训练72% 相似待验证自监督学习不需要人工标注，而是从给定前文预测下一个 token 构造监督信号，这是 LLM 训练规模化的关键。70% 相似待验证在微调过程中保留 MTP 能力是技术难点，因为如果训练流程未正确处理额外的预测头参数，MTP 模块的权重会被破坏或重置69% 相似已验证LLM 在预训练阶段通过最大似然估计优化 token 预测概率，缺乏「知道自己不知道」的内在机制，置信度与准确性之间没有必然关联68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1079574API
curl https://kongchang.com/api/v1/knowledge/claims/1079574MCP
get_claim(id=1079574)