模型路由崛起：企业AI成本危机的破局之道

引言：AI账单来了

当Sam Altman首次承认OpenAI客户开始抱怨成本问题时，一个信号已经非常明确——企业AI支出正在失控。据Cisco总裁Jitu Patel分享的数据，一个员工每周使用约200美元的token，一年50周就是1万美元。如果公司有4万名员工，那就是4亿美元；9万名员工则是9亿美元。这个数字让很多企业措手不及。

这里需要理解token的概念：Token是大语言模型处理文本的基本计量单位，一个token大约相当于英文中的3/4个单词，或中文中的1-2个字符。当企业调用GPT-4等模型的API时，按输入和输出的token数量计费——以GPT-4为例，输入token价格约为每百万token 30美元，输出token约为每百万token 60美元。一次复杂的对话可能消耗数千个token，而一个自动化Agent在执行多步骤任务时，可能在几分钟内消耗数万个token。这就是为什么当AI从个人实验走向企业规模部署时，成本会呈指数级增长。

CNBC报道截图

一种被称为"模型路由"（Model Routing）的新范式正在迅速崛起，它可能从根本上改变AI产业的商业逻辑——不再是所有任务都用最贵最强的模型，而是让合适的模型做合适的事。

什么是模型路由？

从"一刀切"到"按需分配"

传统的AI采购方式很简单：选最强的模型，所有任务都扔给它。这就像让公司里薪资最高的工程师去做所有事情——从解决最难的架构问题到重置密码、查天气。

模型路由的逻辑则完全不同：难题交给顶级模型，简单任务交给更便宜、更快的模型。用顶级模型处理一批输出大约需要25美元，而用廉价模型处理同样的任务可能不到1美元。这就是企业现在正在做的权衡。

从技术实现角度看，模型路由的核心挑战在于如何准确判断一个任务的复杂度，并将其分配给最合适的模型。常见的实现方式包括：基于规则的路由（根据任务类型预设规则）、基于分类器的路由（训练一个轻量级模型来判断任务难度）、以及基于置信度的级联路由（先让小模型尝试，如果置信度不够再升级到大模型）。OpenRouter、Martian、Unify等平台正在提供这类中间层服务，它们充当模型市场的"智能调度器"。

模型路由为何在此刻爆发？

核心原因有三个：

第一，账单到了。很多企业发现年度预算在几个月内就被耗尽。Sam Altman本人也承认这是OpenAI客户首次大规模抱怨成本。

第二，模型供给爆发。Cognition CEO Scott Wu指出，过去能跑agent的模型只有一两个，现在有几十个，而且几乎每隔一天就有新模型发布。

第三，廉价模型已经"够好"。正如Scott Wu所说，如果你问AI"美国第三任总统是谁"，每个模型都能正确回答Thomas Jefferson。很多曾被认为只有顶级模型才能完成的agentic任务，现在数十个模型都能胜任。

这里所说的Agentic AI（智能体AI）是指能够自主规划、执行多步骤任务的AI系统，区别于传统的单轮问答模式。一个Agent可能需要：理解目标、分解任务、调用工具、处理中间结果、应对错误并最终交付成果。这种工作模式意味着单次任务可能涉及数十甚至数百次模型调用，每次调用都消耗token。这也是为什么Agent场景下的成本问题比简单聊天场景严重得多——一个编程Agent完成一个功能开发可能需要数百次推理循环。

中间平台OpenRouter报告称，其流量在短短六个月内增长了5倍。正如其CEO所言："选择单一模型的时代已经结束了。"

企业实战：Cisco的Token经济学经验

Token经济学成为企业核心议题

Cisco总裁Jitu Patel透露，在今年的Cisco Live大会上，"tokenomics"（token经济学）成为客户最关心的三大议题之一，而去年这个话题根本不存在。

即便是Cisco自身，拥有3万名工程师，也承认token预算严重超支。Patel坦言："没有人预算够了。但这其实是好事，说明人们在用。"

他提出了AI采用的三个阶段：熟悉、精通、高效。很多企业正从第二阶段向第三阶段过渡，而模型路由正是实现高效的关键手段。

智能路由层的构建实践

Cisco自己构建了智能路由层，并开发了多个专用小模型——深度网络模型、安全模型、时序模型和可观测性模型。Patel分享了一个惊人数据：对于某些任务，如果使用云端大模型需要0.12美元的token成本，切换到本地小模型可以削减95%的成本。

他们甚至发现，自己预训练的80亿参数模型在某些特定基准测试中，表现优于1200亿参数的通用模型。这一现象背后有深刻的技术逻辑：通用大模型（如GPT-4的万亿级参数）需要在海量多样化数据上训练，以覆盖尽可能多的能力，而专用小模型通过在特定领域数据上进行预训练或微调，可以在该领域达到甚至超越大模型的表现。大模型的大部分参数用于存储与当前任务无关的知识，而专用模型将有限的参数容量集中在目标领域。此外，小模型的推理速度更快、延迟更低、可以部署在边缘设备上，这些优势在企业实时应用场景中至关重要。

Cognition的"AI生产力保证"策略

用实际工程产出证明价值

Cognition（编程Agent Devon的开发商）推出了一项大胆的举措——"AI生产力保证"：如果客户没有从Devon中获得足够的价值，公司将赔付最高1000万美元。

CEO Scott Wu解释了衡量标准：不是看token消耗量或代码行数，而是看实际工程产出——多少代码被部署到生产环境，解决了多少问题，节省了多少工程师时间。

他举了Mercedes-Benz的例子：原本预计需要8个月的迁移任务，在Devon的帮助下8天就完成了。这才是真正的ROI。

Agent路由的规模化实践

Cognition的一个重要里程碑是：超过50%的Devon任务现在不是由人类发起的，而是由另一个Devon或系统事件触发的。这意味着自动化规模正在急剧扩大，对成本效率的要求也随之飙升。

Scott Wu透露，对于最难的编码任务，目前GPT 5.5和Opus 4.8大约各占50%的使用比例。而几个月前，Anthropic的模型占据明显优势。这种快速变化本身就说明了模型路由的必要性——没有哪个模型永远是最好的。

对OpenAI和Anthropic意味着什么？

前沿模型的增长逻辑面临挑战

如果模型路由将所有简单任务分流到廉价模型，OpenAI和Anthropic就只能从困难或敏感任务中获得收入。而两家公司的商业故事都建立在"无尽需求+高端定价"的假设之上。

正如Glean CEO Arvind指出的，目前95%的企业仍在所有任务上使用前沿模型——无论是解决复杂bug还是查天气。一旦模型路由普及，这个比例将大幅下降。

杰文斯悖论：成本下降反而扩大市场

Scott Wu和Jitu Patel都认为，前沿模型仍有巨大价值。最难的任务本身价值极高，国家战略级别的敏感工作也需要最强模型。但关键问题是：它们的定价一直假设自己在处理所有任务，而不仅仅是最难的那些。

Patel提出了一个更乐观的视角——杰文斯悖论：当token成本下降，使用量会大幅增加，整体市场反而会扩大。"最大的风险是AI变得太贵，价值不匹配导致人们退缩。成本下降对模型提供商其实是好事。"

杰文斯悖论（Jevons Paradox）源自19世纪英国经济学家William Stanley Jevons的观察：当蒸汽机的燃煤效率提高时，煤炭的总消耗量反而增加了，因为效率提升使得更多应用场景变得经济可行。这一悖论在科技领域反复出现——存储成本下降催生了大数据时代，带宽成本下降催生了流媒体产业，计算成本下降催生了云计算。在AI领域，如果推理成本大幅下降，企业可能会将AI应用到此前因成本过高而无法触及的大量场景中，最终使总支出反而增加。

未来趋势：分布式AI与桌面计算

模型无处不在的新架构

Patel描绘了一个令人兴奋的未来图景：AI不再只存在于大型数据中心。你的手机上会有模型，桌面旁的Mac Mini上会有模型，边缘设备上会有模型，数据中心里也有模型——它们协同工作。

这种分布式AI架构的兴起有其深刻的技术背景。边缘计算是指将数据处理从集中式数据中心转移到靠近数据源的位置（如用户设备、本地服务器、IoT网关等）。在AI语境下，这意味着将模型推理从云端迁移到本地。Apple Intelligence在iPhone上运行的3B参数模型、NVIDIA Jetson系列边缘AI芯片、以及高通骁龙的NPU都是这一趋势的体现。分布式AI架构的优势包括：降低延迟（无需往返云端）、保护数据隐私（敏感数据不离开本地）、降低带宽成本、以及提高系统韧性（不依赖单一云服务）。

这种"桌面计算"（desk-side computing）的新范式意味着大量处理可以在本地完成，但agent之间的通信会产生巨大的网络流量。Patel分享了一个关键数据：一个agent执行与人类相同的任务，需要多消耗450%的网络带宽。

这解释了为什么Cisco的园区和分支网络业务上季度增长了25%——远超历史上2-3%的通胀率增长水平。

结语：从军备竞赛到精细化运营

模型路由不是一个简单的成本优化工具，它代表着AI产业从"军备竞赛"向"精细化运营"的转变。对企业而言，这意味着更理性的AI投资；对模型厂商而言，这意味着必须在真正困难的任务上证明自己的不可替代性；对整个行业而言，这可能是AI从"烧钱"走向"盈利"的关键拐点。

正如Jitu Patel所说："智能路由层将成为未来架构中非常突出的组成部分。"这不是一个假设，而是已经在发生的现实。