待验证50% 置信基准精确时间
bfloat16基线吞吐量为18.8K tokens/s/GPU，最快自定义路线达到37.9K tokens/s/GPU，几乎翻倍
1
来源数
50%
置信度
长期有效
时效性
2026/10/4
首次发现
来源
涉及实体
相关事实
待验证LLaMA-2 7B 在上下文扩展到 32K token 时 KV Cache 显存膨胀至约 16 GB，接近单张消费级 GPU 的全部显存72% 相似待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡70% 相似待验证在单张 32GB 显卡、q4_0 量化场景下，上下文长度从更新前的 82,432 token 增至更新后的 199,680 token68% 相似已验证LLaMA-2 70B单条32K上下文长度序列在FP16下KV缓存可达约80GB68% 相似待验证约1.6M超长上下文配合128并发时，吞吐可达约3700 tokens/s（聚合）68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/971841API
curl https://kongchang.com/api/v1/knowledge/claims/971841MCP
get_claim(id=971841)