Calibrate Then Route

arXiv论文，研究分离式LLM服务中的智能请求路由问题，提出基于硬件校准的成本估算学习型路由器，通过估算每个实例的额外完成时间来优化请求分配决策