已过期90% 置信事实时间未知
推测解码（Speculative Decoding）通过使用小模型预测大模型的输出token来减少计算量
6
来源数
90%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30(已过期)
来源
相关事实
已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术78% 相似已验证推测解码（Speculative Decoding）是目前最主流的大模型推理加速路径之一，使用小型草稿模型快速生成候选token再由主模型并行验证77% 相似待验证缓解推理墙的技术手段包括模型量化（FP16降至INT8或INT4）、投机解码（用小模型预测大模型输出加速生成）以及KV Cache优化75% 相似已验证投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证75% 相似待验证业界降低LLM推理成本的主要优化路径包括模型量化、推测解码（Speculative Decoding）和语义缓存机制75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/57023API
curl https://kongchang.com/api/v1/knowledge/claims/57023MCP
get_claim(id=57023)