待验证50% 置信事实精确时间

每个MTP头共享主模型的隐藏状态表示，仅包含小型前馈网络和输出投影层，参数量通常不到主模型的1%

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

MTP多令牌预测：Qwen3性能提升3倍的隐藏开关

涉及实体

MTP headconcept

相关事实

待验证MTP头参数量通常不到主模型的1%，与主模型联合预训练78% 相似待验证MTP的额外预测头直接复用Transformer的隐藏状态表示，因此额外的计算开销极小66% 相似待验证马尔可夫头仅需记录前一个token状态即可推导下一token修正概率，参数量通常不超过原模型的0.1%61% 相似待验证价值网络仅在约5%–10%的回合中作为关键判定依据使用60% 相似待验证经过良好校准的FP8推理，模型输出质量损失通常可控制在1%以内59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/889917

API

curl https://kongchang.com/api/v1/knowledge/claims/889917

MCP

get_claim(id=889917)