待验证50% 置信事实精确时间

在本地单卡推理场景下瓶颈通常是显存带宽，一次验证可以同时确认多个草稿 token 时，每个 token 的平均显存读取次数大幅降低，这是加速的物理来源

1

来源数

50%

置信度

长期有效

时效性

2026/9/27

首次发现

来源

llama.cpp引入提示查找草稿：推理加速最高42倍

涉及实体

prompt lookup decodingconcept

相关事实

待验证内存带宽决定权重读取速度并影响生成每个token的延迟，浮点算力（FLOPS）决定矩阵运算速度并影响prefill阶段处理输入提示词的速度65% 相似待验证约束校验的计算量与词表大小成正比，且每生成一个 token 都要重复一次，因此性能优化关键65% 相似待验证确定性回放策略只记录玩家输入序列，存储成本极低但对代码确定性要求严苛，浮点数精度差异都可能导致回放偏差65% 相似待验证投机解码通过小模型预测候选Token、大模型批量验证提升吞吐量；量化技术将权重从FP16压缩至INT8/INT4降低显存占用；MoE架构通过稀疏激活降低单次推理计算量65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/954489

API

curl https://kongchang.com/api/v1/knowledge/claims/954489

MCP

get_claim(id=954489)