待验证50% 置信基准精确时间
预填充阶段Strata将提示词分割为最多8000个Token的块,通过PCIe流式传输隐藏在计算之后,使处理3.2万Token提示词速度从约570 Token/秒提升至近1300 Token/秒
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至:2027/1/3
来源
涉及实体
相关事实
待验证当上下文超过6.4万Token时,Strata将大部分KV缓存保留在内存中,仅把最热的3.2万Token保留在显存,在26.2万上下文下速度从约51提升至63 Token/秒80% 相似待验证用2840亿参数的DeepSeek V4 Flash实测,token生成从37提升到53 tokens/s(约1.5倍),Prompt Processing从483跃升到1485 tokens/s(约三倍)69% 相似待验证200K token的上下文请求相比8K token请求,需要约25倍的KV-Cache显存68% 相似待验证M3 Ultra运行四位DeepSeek R1时,1000 token上下文约每秒生成19个token占用392GB,16000 token时降到约每秒15个占用410GB68% 相似待验证若量化后模型权重为150GB,以273GB/s带宽读取一遍权重约需0.55秒,理论上单token生成速度约为1.8 token/s(未计入计算延迟和跨机通信开销)67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978617API
curl https://kongchang.com/api/v1/knowledge/claims/978617MCP
get_claim(id=978617)