推理网络
一种将多模型协同问题抽象为图结构的框架，节点代表不同LLM，边代表条件性模型激活，通过阈值策略实现推理成本与性能的最优权衡
时间轴 (近 90 天)
一篇发表于arXiv的研究提出了名为「推理网络」（Inference Networks）的图结构框架，用于组合使用多个专家模型
在推理网络中，节点代表不同的LLM，边代表条件性的模型激活（即在满足某种条件时才触发下一个模型调用）
推理网络设计问题的目标是确定能最好地平衡成本与性能的最优拓扑结构
论文将问题形式化为：在满足目标性能约束的前提下，最小化期望推理成本
论文提供了结构化的阈值计算方法和分别针对判别式与生成式任务的置信度估计机制
论文在开源LLM上的实验显示，采用最优阈值策略能实现可观的成本削减，同时满足预先设定的性能预算
论文当前的理论结果主要针对「串联专家」这一基础拓扑，更复杂的推理网络拓扑（如带分支、并行集成的混合结构）的最优策略仍是开放问题
当前框架假设各模型的成本是固定已知的，而云端API的计费方式往往更为复杂
全部知识事实 (8)
当前框架假设各模型的成本是固定已知的，而云端API的计费方式往往更为复杂
50%待验证在推理网络中，节点代表不同的LLM，边代表条件性的模型激活（即在满足某种条件时才触发下一个模型调用）
50%待验证推理网络设计问题的目标是确定能最好地平衡成本与性能的最优拓扑结构
50%待验证论文将问题形式化为：在满足目标性能约束的前提下，最小化期望推理成本
50%待验证论文提供了结构化的阈值计算方法和分别针对判别式与生成式任务的置信度估计机制
50%待验证论文在开源LLM上的实验显示，采用最优阈值策略能实现可观的成本削减，同时满足预先设定的性能预算
50%待验证论文当前的理论结果主要针对「串联专家」这一基础拓扑，更复杂的推理网络拓扑（如带分支、并行集成的混合结构）的最优策略仍是开放问题
50%待验证一篇发表于arXiv的研究提出了名为「推理网络」（Inference Networks）的图结构框架，用于组合使用多个专家模型
50%