LLM 路由
将大语言模型请求分配给不同能力/成本的模型以优化性能与开销的技术；常使用提示词长度等代理指标进行路由决策。
时间轴 (近 90 天)
一篇 2026 年的 LLM 路由研究（arXiv:2609.17542）发现，被省略的功能词（如 however、although、if...then 等连接词）是让文本看起来变短的原因；去掉连接词后 token 数量下降，但推理负荷并未减少。
如果你按照 token 数量来路由 LLM 流量（长提示词送给强模型，短提示词送给便宜模型），你运行的是一个存在系统性偏差的代理指标，它把「短」误读为「简单」。
实践建议：不要按长度路由 LLM 流量，而应按嵌套深度、未解决的指代、推理是显式陈述还是隐含等真正让模型付出代价的特征来路由。
论文在合成的标签高效预测游戏和 LLM 路由两个任务上进行了实验，E2D.PMSide 在这两个任务上均优于先前方法。
LLM 路由是指面对一个用户查询时，系统在多个不同规模或能力的模型之间做选择，以在成本与质量之间取得平衡。
在 LLM 路由场景下，E2D.PMSide 通过回归预言机估计弱模型成功概率，以更低推理成本达到相近回答质量。
全部知识事实 (6)
一篇 2026 年的 LLM 路由研究（arXiv:2609.17542）发现，被省略的功能词（如 however、although、if...then 等连接词）是让文本看起来变短的原因；去掉连接词后 token 数量下降，但推理负荷并未减少。
50%待验证如果你按照 token 数量来路由 LLM 流量（长提示词送给强模型，短提示词送给便宜模型），你运行的是一个存在系统性偏差的代理指标，它把「短」误读为「简单」。
50%待验证实践建议：不要按长度路由 LLM 流量，而应按嵌套深度、未解决的指代、推理是显式陈述还是隐含等真正让模型付出代价的特征来路由。
50%待验证论文在合成的标签高效预测游戏和 LLM 路由两个任务上进行了实验，E2D.PMSide 在这两个任务上均优于先前方法。
50%待验证LLM 路由是指面对一个用户查询时，系统在多个不同规模或能力的模型之间做选择，以在成本与质量之间取得平衡。
50%待验证在 LLM 路由场景下，E2D.PMSide 通过回归预言机估计弱模型成功概率，以更低推理成本达到相近回答质量。
50%