待验证50% 置信事实精确时间

主流BPE词表规模通常为32K-128K，全量成对相似度矩阵的内存占用可超过数十GB

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

分散损失：破解小语言模型嵌入坍缩的关键技术

hackernewshackernews2026/7/3

相关事实

待验证数千亿参数模型处理128K上下文窗口时，KV Cache可能占据数十GB显存71% 相似待验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存68% 相似待验证128GB的统一内存池意味着可以在本地运行700亿参数量级甚至更大的量化模型68% 相似待验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存67% 相似待验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/199067

API

curl https://kongchang.com/api/v1/knowledge/claims/199067

MCP

get_claim(id=199067)