待验证50% 置信基准精确时间
在 Strix Halo 上，模型冷启动预填充达到每秒几百 token，输出稳定在 40 多 TPS；在 CUDA 工作站上，预填充每秒数千 token，输出持续在 100 到 2100 TPS 之间。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/29
首次发现
有效期至：2027/1/27
来源
海外博主实测千亿MoE模型本地部署：量化与工具调用的关键教训
bilibili枫叶边城2026/10/29
涉及实体
相关事实
待验证预填充阶段Strata将提示词分割为最多8000个Token的块，通过PCIe流式传输隐藏在计算之后，使处理3.2万Token提示词速度从约570 Token/秒提升至近1300 Token/秒70% 相似待验证当上下文超过6.4万Token时，Strata将大部分KV缓存保留在内存中，仅把最热的3.2万Token保留在显存，在26.2万上下文下速度从约51提升至63 Token/秒69% 相似待验证Gemma开源模型通过vLLM在A100上实现了2.85倍的端到端推理加速，吞吐量从约37,900 tokens/秒提升至超过108,000 tokens/秒，且保持100% token一致性和零质量下降。66% 相似待验证在 cgroup 限制 CPU 配额（约 30 核）但暴露 256 个线程的环境下，Strata 默认工作池配置导致性能降至约 30 tokens/s，而非预期的 170 tokens/s66% 相似待验证M3 Ultra运行四位DeepSeek R1时，1000 token上下文约每秒生成19个token占用392GB，16000 token时降到约每秒15个占用410GB65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1112037API
curl https://kongchang.com/api/v1/knowledge/claims/1112037MCP
get_claim(id=1112037)