待验证50% 置信解决方案精确时间

约200GB的n-gram表存于普通系统内存而非显卡，后台传输预取即将用到的行

1

来源数

50%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

DeepSeek如何把AI推理账单砍到1/150：四步压缩KV缓存

涉及实体

DeepSeekcompany n-gramconcept

相关事实

待验证对于一个典型的700亿参数模型，KV缓存每个词元大约占半兆（0.5MB）内存，生成10万个词元需要携带50GB的缓存71% 相似已验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量70% 相似待验证在1亿token规模下，档案库28.8GB加2.2GB索引在磁盘上，进程内存靠memory-map只占约28MB69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/923875

API

curl https://kongchang.com/api/v1/knowledge/claims/923875

MCP

get_claim(id=923875)