待验证50% 置信事实精确时间

主模型并行验证N个token的耗时与验证1个token几乎相同，整体吞吐量随草稿模型命中率线性提升

1

来源数

50%

置信度

长期有效

时效性

2026/9/29

首次发现

来源

英伟达Jetson本地跑Qwen3 27B：NVFP4+投机解码实测解析

涉及实体

Speculative Decodingtechnology

相关事实

已验证投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证76% 相似待验证一致性正则化的基本假设是对同一输入样本施加不同扰动时模型输出应保持一致75% 相似待验证重复运行以计算通过率比依赖单次结果更能反映模型的真实表现73% 相似待验证传统自回归方法生成N个token需要运行N次模型前向传播，而推测解码通过批量验证将多次调用合并为一次71% 相似待验证投机解码在保证输出与原模型完全一致的前提下提升生成吞吐量69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/957940

API

curl https://kongchang.com/api/v1/knowledge/claims/957940

MCP

get_claim(id=957940)