待验证50% 置信观点精确时间
作者认为12-30 token/s是舒适区，超过30 token/s算好；48-64GB的M5 Max约能跑到20 token/s
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/10
首次发现
有效期至：2026/12/9
来源
涉及实体
相关事实
已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存71% 相似待验证200K token的上下文请求相比8K token请求，需要约25倍的KV-Cache显存69% 相似待验证实际工程中chunk_size在256至1024 token之间、chunk_overlap在20至100 token之间是较为常见的经验范围69% 相似待验证1 个 Token 约等于 0.75 个英文单词，现代模型已将上下文窗口上限扩展至 128K Token67% 相似待验证以 Llama-3 70B 为例，在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms，而处理 2K token 仅需约 50ms67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/887806API
curl https://kongchang.com/api/v1/knowledge/claims/887806MCP
get_claim(id=887806)