待验证50% 置信基准精确时间

投机解码的草稿模型推理成本通常仅为主模型的1/5-1/10

1

来源数

50%

置信度

长期有效

时效性

2026/9/6

首次发现

来源

Qwen3开DFlash2反而更慢？投机解码吞吐下降30%真相解析

涉及实体

投机解码concept 草稿模型concept

相关事实

已验证若MoE模型每次推理仅激活约1/8的参数，实际计算开销可能仅相当于百亿参数级别的稠密模型73% 相似待验证大语言模型的推理成本与模型参数量呈近似线性关系，GPT-4级别模型的输入token成本通常是小型专用模型的10-30倍73% 相似待验证新一代代码模型的推理成本仅为上一代的四分之一72% 相似待验证对于代码补全、语法检查等结构化任务，7B-13B参数量的小模型可达到90%以上准确率，推理成本仅为顶级模型的1/50甚至更低71% 相似待验证轻量版模型单次推理的算力消耗往往只有旗舰版本的十分之一甚至更低70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/864433

API

curl https://kongchang.com/api/v1/knowledge/claims/864433

MCP

get_claim(id=864433)