待验证50% 置信基准精确时间
R9700预填充吞吐在16000 token深度达到峰值3619 tok/s,64000 token深度回落到3192 tok/s,衰减约12%
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/17
首次发现
有效期至:2026/12/16
来源
涉及实体
相关事实
待验证M3 Ultra运行四位DeepSeek R1时,1000 token上下文约每秒生成19个token占用392GB,16000 token时降到约每秒15个占用410GB75% 相似待验证DeepSeek-R1 7B 的上下文窗口通常可达 128K Tokens,但本地实际可用长度受限于显存容量68% 相似待验证通过对KV Cache的优化,DeepSeek每个Token所需缓存降到千分之二级别,模型内存和SSD需求分别降到上一代的四分之一和八分之一64% 相似待验证对于 LLaMA-2 70B 模型,处理 4096 token 的上下文时,FP16 精度下 KV Cache 约需 20GB 系统内存64% 相似待验证Q8主模型占用162GB导致drafter无法装入统一内存,DSpark加速失效,将三层MoE专家放回CPU后输出仅从22.87提升到23.49 token/秒(快2.7%),prefill从95.38降至76.6562% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/930097API
curl https://kongchang.com/api/v1/knowledge/claims/930097MCP
get_claim(id=930097)