待验证50% 置信事实精确时间
Strata 的多用户并发采用并行槽位机制,槽位不使用投机解码,导致单用户速度从 144 降至 38 tokens/s
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至:2027/1/15
来源
一张RTX 5090跑125B编程模型:吞吐瓶颈与调优实录
rss2026/10/17
涉及实体
相关事实
待验证在 cgroup 限制 CPU 配额(约 30 核)但暴露 256 个线程的环境下,Strata 默认工作池配置导致性能降至约 30 tokens/s,而非预期的 170 tokens/s76% 相似待验证预填充阶段Strata将提示词分割为最多8000个Token的块,通过PCIe流式传输隐藏在计算之后,使处理3.2万Token提示词速度从约570 Token/秒提升至近1300 Token/秒69% 相似待验证当上下文超过6.4万Token时,Strata将大部分KV缓存保留在内存中,仅把最热的3.2万Token保留在显存,在26.2万上下文下速度从约51提升至63 Token/秒69% 相似待验证在相同机器和模型下,低功耗模式与高功耗模式的解码速度差1.4到3.8倍;例如Ollama跑Qwen 3.5 35B,低功耗51.9 tokens/s,高功耗107.1 tokens/s68% 相似待验证模型哪怕一小部分溢出到系统内存,速度会大幅下降;实验显示同一小模型在RTX 5090显存跑151 tokens/s,放进系统内存只剩8 tokens/s67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053018API
curl https://kongchang.com/api/v1/knowledge/claims/1053018MCP
get_claim(id=1053018)