待验证50% 置信基准精确时间
将CACPU集成到SGLang推理框架后，Llama-3.1-8B的首Token延迟（TTFT）最高降低1.74倍，同时保持模型精度不变。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/30
首次发现
有效期至：2027/1/28
来源
涉及实体
相关事实
待验证该研究发现，在获得充足CPU资源的情况下，从发送请求到收到第一个token的等待时间（TTFT）在测试的多种配置中缩短了1.47至7.11倍。78% 相似待验证Groq的LPU采用TSP架构，通过确定性的数据流调度实现极低的推理延迟（首token延迟可低至数毫秒级别）71% 相似待验证开发者在 RTX 3090 上通过 Ghidra 对推理引擎 Strata 0.1.44 进行静态分析并在解码侧实现了 12% 的速度提升，会话切换延迟降低约 25 倍。70% 相似待验证在Qwen2.5-Math-1.5B上进行的受控GRPO实验，批大小跨度达到16倍，结果支持了进展变慢与失效时钟近似不变这两个预测。70% 相似待验证批大小为1时的解码阶段是计算密集型，因此放置策略几乎不影响吞吐量，只改变PCIe迁移流量和首Token时间(TTFT)70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1113783API
curl https://kongchang.com/api/v1/knowledge/claims/1113783MCP
get_claim(id=1113783)