MultiTurnRoute：多轮对话LLM路由新平台

多轮对话中，选择哪个语言模型来回答当前问题，会直接影响后续轮次的对话走向。更关键的是，被选中模型的回复会塑造下一轮查询的上下文，而它缓存的提示前缀又能降低再次使用该模型的成本。这种跨轮次的耦合关系，让传统单轮路由策略在多轮场景下显得力不从心。

多轮路由为何不同于单轮

单轮路由的核心是“当前问题该交给谁”，而多轮路由还要考虑“这一轮的选择如何影响下一轮”。原文指出，被选模型的回复会构成下一轮查询的上下文，同时其缓存提示前缀能减少重复使用该模型的成本。这意味着路由决策不再是孤立的最优化问题，而是一个带有状态传递和成本累积的序列决策问题。

这种特性带来两个直接挑战：一是质量评估需要跨轮次进行，单轮的高分回复可能把对话引向死胡同；二是成本计算必须考虑前缀复用，否则会高估频繁切换模型的代价。MultiTurnRoute 正是围绕这两个痛点设计的。

提示前缀缓存（Prompt Prefix Caching）是大模型推理中的一种优化技术：当多个请求共享相同的开头文本（即“前缀”）时，推理引擎可以缓存该前缀对应的键值（KV）状态，后续请求只需计算新增部分，从而显著降低计算量和延迟。在多轮对话中，同一模型的连续使用天然共享历史上下文，因此复用率更高；频繁切换模型则会导致缓存失效、成本上升。路由决策若忽略这一机制，就会误判切换模型的真实代价。

平台架构与Chain-of-Route算法

MultiTurnRoute 提供了一个共享接口，让内置路由器和用户自定义路由器都能获取三类信息：当前查询、对话历史，以及每个模型可复用前缀长度的估计值。这个接口设计把“路由所需的最小信息集”标准化了，使得不同策略可以在同一套输入下公平比较。

其核心算法 Chain-of-Route（CoR）使用一个学习到的门控机制，同时审视近期对话历史和循环出现的对话历史，来预测各模型的回复质量。成本部分则依据每个模型的可复用前缀长度来估算，而非简单累加 token 数。原文提到，CoR 在质量预测上兼顾了“近期”与“循环”两种历史信号，这暗示它试图捕捉对话中的短期意图漂移和长期话题回归。

门控机制（Gating Mechanism）源自循环神经网络（如LSTM）和混合专家模型（MoE），其作用是学习一个权重，动态控制不同信息源的贡献比例。在Chain-of-Route中，门控机制接收近期对话历史和循环出现的历史信号，输出对各模型回复质量的预测。这种设计允许模型根据对话状态自适应地调整对短期意图和长期话题的依赖程度，而非固定使用某一窗口。

评测基准与Arena机制

MultiTurnRoute Arena 提供两种评测方式。第一种是在录制的对话上对路由器排名，直接比较会话质量和成本。第二种是交互式运行，由模拟用户对每条回复做出反应，从而在动态对话中比较不同路由器的表现。这种“录制+模拟”的双轨设计，弥补了静态基准无法反映对话走向变化的缺陷。

评测基准取自 WildChat 和 LMSYS-Chat-1M，并为五个 LLM 的每一轮回复标注了质量。据原文数据，在该基准上，CoR 在达到最强单模型质量水平时，归一化成本相对最强路由基线最多降低 20.3%，同时峰值回复质量持平或有所提升。这一结果说明，多轮感知的路由策略在成本效率上确实存在可观的优化空间，而不仅仅是理论上的优雅。

WildChat 和 LMSYS-Chat-1M 是两个公开的大规模真实对话数据集。WildChat 收集了用户与ChatGPT等模型的真实交互，涵盖多样化的任务和语言；LMSYS-Chat-1M 则来自Chatbot Arena的匿名对战记录，包含超过100万条多轮对话。两者均提供了丰富的对话历史和模型回复，适合用于评估路由策略在真实分布下的表现。原文使用这两个数据集并为五个LLM的每一轮回复标注质量，构成了多轮路由评测的基础。

对多模型应用开发的启示

MultiTurnRoute 的价值不止于一个学术基准。对于实际构建多模型对话系统的团队而言，它提供了几个可操作的思路。其一，路由器的输入应当包含前缀复用估计，否则成本模型会失真。其二，质量预测需要同时建模近期和循环历史，单一窗口可能遗漏关键信号。其三，交互式评测比静态录制更接近真实用户体验，值得在内部评测流程中引入。

当然，该平台目前基于五个 LLM 的标注数据，路由器在更大模型池或不同领域对话上的泛化能力仍有待验证。CoR 的门控机制具体如何学习、对历史长度的敏感度如何，原文未展开细节，这也是后续值得关注的方向。

总体来看，MultiTurnRoute 把多轮路由从一个模糊的工程直觉，推进到了可接口化、可基准化、可交互评测的平台层面。对于需要在质量与成本之间做精细权衡的多模型应用，这套思路提供了一个值得借鉴的起点。