待验证50% 置信基准精确时间
256K 前缀已缓存、4 个用户的情况下，95% 的请求在 1.66 秒内拿到第一个 token。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/16
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/10/30(已过期)
来源
763B MoE 塞进两张 96GB 显卡：闲置专家丢进主机内存
rss2026/10/16
涉及实体
相关事实
待验证200K token的上下文请求相比8K token请求，需要约25倍的KV-Cache显存72% 相似待验证当上下文接近 512K token 时，预填充与解码解耦架构可确保用户在读取整本规格书后仍能在 800 毫秒内收到首个响应 token。71% 相似待验证实测32K上下文的prefill读取速度达到每秒3860 Token71% 相似待验证开发者Primitive报告：关闭推测时为91.2 tokens/s，开启3个推测token后达到142.6 tokens/s，同一配置下约提速56%69% 相似待验证32 个请求共用同一段 4k token 系统提示词时，Superfluid 的前缀缓存命中率达到 97%，与 Ollama 持平，而 mlx_lm.server 为 0%。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044824API
curl https://kongchang.com/api/v1/knowledge/claims/1044824MCP
get_claim(id=1044824)