待验证50% 置信事实精确时间

在100k上下文长度下，LLM本地推理的生成速度相比短文本可能下降50%以上

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

从1块3090到20台DGX Spark：本地大模型玩家的硬件进化史

涉及实体

LLM推理concept

相关事实

待验证推测解码中当草稿通过率低于50%时，实际加速效果会大打折扣甚至产生负优化72% 相似待验证传统LLM推理中KV缓存的实际利用率往往不足50%，PagedAttention可提升至接近100%69% 相似待验证实验数据显示，经过5-10轮迭代训练后，模型在低频词汇和长尾知识上的覆盖率下降超过40%，而输出文本在表面流畅性上几乎没有可察觉的退化68% 相似待验证将一半模型层卸载到内存后生成速度往往从每秒十几个Token骤降至个位数67% 相似待验证当模型从历史文本转向当代文本时，出现了 20% 到 50% 的性能下滑67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/974689

API

curl https://kongchang.com/api/v1/knowledge/claims/974689

MCP

get_claim(id=974689)