待验证50% 置信事实精确时间

MTP头参数量通常不到主模型的1%，与主模型联合预训练

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

MTP多令牌预测：Qwen3性能提升3倍的隐藏开关

涉及实体

MTP headconcept

相关事实

已验证使用LoRA微调时，实际需要训练的参数量只有原来的0.1%-1%73% 相似已验证对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上71% 相似待验证即使只有5-10%的训练样本存在错位，也会导致VLM模型在下游任务上出现显著的性能退化69% 相似待验证针对有限意图集合训练的轻量级专用模型参数量通常在10M以下，其推理延迟可比通用LLM调用低2-3个数量级69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/887329

API

curl https://kongchang.com/api/v1/knowledge/claims/887329

MCP

get_claim(id=887329)