待验证50% 置信基准精确时间
推测解码的验证阶段可以批量化执行，整体吞吐通常能提升 1.5–3 倍，且理论上与原模型贪婪/采样结果等价。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
Ollama v0.40.10-rc0：Gemma 4渲染器更新与MLX推测解码增强
rss2026/10/23
涉及实体
相关事实
已验证Speculative Decoding在草稿模型预测准确率达到60-80%时，整体推理速度可提升2-3倍76% 相似待验证在四个同时看到产物的裁判中，模型越强，claimcheck的增益越小，最强的裁判已接近'知情单次调用'的水平。73% 相似待验证推测解码技术使速度快约1.6到1.8倍，实测中大模型约79%的情况下认可了小助手的猜测71% 相似待验证推测解码的加速收益取决于草稿的接受率和被接受token的平均长度这两个因素的乘积。70% 相似待验证传统推测解码的验证过程对草稿提出的token以min(1, p(x)/q(x))的概率接受，被拒绝则从修正分布norm(max(0, p(x)-q(x)))重新采样，可证明产生的token分布与直接从目标模型采样完全一致（lossless）69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1090102API
curl https://kongchang.com/api/v1/knowledge/claims/1090102MCP
get_claim(id=1090102)