待验证50% 置信基准精确时间

使用经过校准的成本模型，学习型路由器只需六块GPU就能达到轮询策略用七块GPU的goodput，相当于减少约14%的GPU投入

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

校准后再路由：分离式LLM服务的智能请求调度研究

涉及实体

Calibrate, Then Routeconcept

相关事实

待验证在8块GPU的张量并行组中若1块故障，剩余7块各额外承担约14.3%负载，整体吞吐量降至约87.5%，仍优于触发检查点回滚的Goodput损失77% 相似待验证一个拥有10,000块GPU的训练集群，假设单块GPU年故障率为3%，平均每天约有一块GPU出现问题74% 相似已验证大模型推理时实际GPU利用率往往不足10%72% 相似已验证自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作71% 相似待验证简单任务使用GPT-3.5级别模型成本约为旗舰模型的1/20，合理的LLM路由可将整体推理成本降低60%-80%70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/924702

API

curl https://kongchang.com/api/v1/knowledge/claims/924702

MCP

get_claim(id=924702)