待验证50% 置信事实精确时间
大模型推理时卸载到SSD后token生成速度会显著下降,下降幅度与SSD随机读取性能直接相关,瓶颈在于数据搬运带宽而非算力
1
来源数
50%
置信度
长期有效
时效性
2026/11/1
首次发现
来源
涉及实体
相关事实
待验证Ngram表可以从SSD流式读取而不严重拖慢推理速度,因为查表操作对内存带宽要求远低于神经网络层的矩阵运算76% 相似待验证投机解码和KV缓存优化等推理工程手段对RSI研究的重要性不亚于算法本身,因为生成速度慢一倍意味着同等预算下迭代轮数减半73% 相似待验证量化与内存卸载叠加使用理论上可在极低显存环境下加载远超容量的模型,但数据搬运会产生额外延迟,实际推理速度往往只有纯显存运行的几分之一73% 相似待验证上下文长度越长,KV Cache 占用越大,推理速度通常会下降72% 相似待验证只有在LLM推理比embedding加向量检索慢数十倍以上时,语义缓存才能同时实现降本与提速71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1122807API
curl https://kongchang.com/api/v1/knowledge/claims/1122807MCP
get_claim(id=1122807)