待验证50% 置信事实精确时间

投机解码的本质是用小代价预测多个token再由主模型批量验证，命中率越高每步验证产出的有效token越多

1

来源数

50%

置信度

长期有效

时效性

2026/10/10

首次发现

来源

本地单卡748 token/s：Bonsai2+Ninfer+KVMem极值实践

涉及实体

Speculative Decodingconcept

相关事实

已验证投机采样通过小型草稿模型生成候选token由大模型并行验证，可在不损失质量前提下将吞吐提升2-3倍78% 相似已验证推测解码将草稿模型生成的候选序列整体提交给目标模型进行一次性批量验证，只需一次前向传播即可判断每个候选token是否正确75% 相似待验证模型的输出质量是概率性的，只有在真实流量分布下才能充分暴露问题，而代码服务的正确性可通过单元测试或集成测试预先验证73% 相似已验证推测解码基于拒绝采样的验证算法确保输出分布与单独运行主模型完全等价而非近似等价72% 相似待验证投机解码的实际加速效果高度依赖草稿模型与目标模型的匹配程度，接受率是评估其有效性的关键数据71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/995007

API

curl https://kongchang.com/api/v1/knowledge/claims/995007

MCP

get_claim(id=995007)