待验证50% 置信事实精确时间
该实验配置了 262,144 token 的原生上下文，KV cache 使用 FP8 存储，最多同时处理两个序列
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存75% 相似待验证FP8 KV cache是将注意力机制中的Key-Value缓存从FP16或BF16压缩到8位的量化技术，可将KV cache显存占用减半74% 相似待验证对于一个32层、4096维的模型,处理2048个Token的KV Cache约占用1GB显存73% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存72% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1031404API
curl https://kongchang.com/api/v1/knowledge/claims/1031404MCP
get_claim(id=1031404)