待验证50% 置信事实精确时间
Anthropic要求缓存的最小单位是1024个Token，OpenAI以128个Token为粒度进行缓存匹配
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/15
首次发现
有效期至：2026/11/13
来源
相关事实
待验证Anthropic的Claude要求前缀长度超过1024 token才触发Prompt Caching，OpenAI则以128 token为粒度自动缓存69% 相似待验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存67% 相似待验证中断向量表位于内存最低的1024字节，存储了256个中断处理程序的入口地址67% 相似待验证单个70B参数模型可能占用40GB以上显存，单张A100仅能承载极有限的并发请求64% 相似待验证100万Token在FP16精度下仅KV Cache一项即可消耗数百GB显存，远超单张A100/H100的80GB容量上限63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/753257API
curl https://kongchang.com/api/v1/knowledge/claims/753257MCP
get_claim(id=753257)