待验证50% 置信事实精确时间
DeepInfer 的宽专家并行将 384 个专家分散到 128 块芯片上，每块只持有约 7 个专家，显存流量下降近 88%，单 GPU 每秒可输出超过 26000 词。
1
来源数
50%
置信度
长期有效
时效性
2026/10/25
首次发现
来源
涉及实体
相关事实
待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡68% 相似待验证DeepSeek V4.1 Flash 1017 跑完整套 Intelligence Index 所需的输出 token 从2.5亿降到2.1亿，减少约16%。68% 相似待验证要跑出文中的速度，需要至少 128 块 GPU 的企业级部署。67% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。67% 相似待验证Diffbot 的方案将 15,360 个路由专家中的 4,608 个，加上查找表（Engram 表 int4 和 embedding），整体搬到主机内存，GPU 通过 UVA 经 PCIe 读取，每张卡占用降到 72.4 GiB。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1095678API
curl https://kongchang.com/api/v1/knowledge/claims/1095678MCP
get_claim(id=1095678)