Liquid Inference：让服务商为每个Prompt竞价的LLM路由器

当推理成本成为竞价战场

在大模型应用规模化落地的今天，推理成本正成为企业和开发者绕不开的痛点。同一个模型，不同云服务商、不同部署方案的价格差异可能相当悬殊，而手动比价、切换接入几乎不现实。Liquid Inference 给出的思路很直接——把这件事变成一场实时拍卖。

这款在 Product Hunt 上线的产品定位为「LLM 路由器」，其核心机制是：当你发送一个 prompt 时，背后的多个推理服务商会动态竞价，谁能提供最低的边际成本，谁就承接这次请求。用户不必关心底层由谁执行，只需发出请求，系统自动把流量导向当下最划算的供给方。

Liquid Inference 产品页

这种「让供给侧为每个请求竞争」的模式，本质上是把传统固定定价的 API 调用，改造成了一个随行就市的实时市场。对于高频调用的 Agent 应用来说，哪怕每次节省几个百分点，累积起来也相当可观。

实时竞价（Real-Time Bidding，RTB）机制最早大规模应用于程序化广告领域：每次用户打开网页，广告位会在毫秒级时间内完成一轮拍卖，出价最高的广告主赢得展示机会。Liquid Inference 将类似机制平移到 LLM 推理市场：不同的是，广告竞价追求的是最高出价方，而推理竞价追求的是最低成本供给方，逻辑刚好相反。这种「反向拍卖」在云计算领域也有先例，AWS Spot Instance 便允许用户以低于按需定价的方式竞标闲置算力。LLM 推理市场的竞价逻辑相似——各服务商在不同时段存在算力冗余，愿意以更低价格消化闲置容量，路由器的价值就在于实时捕捉这种价差窗口。

面向 Agent 时代的接入设计

Liquid Inference 把兼容性放在了相当突出的位置。官方列出的支持清单覆盖了当下主流的 Agent 编程工具——Claude Code、Codex、OpenCode、Cursor、Pi、Cline 等等，几乎囊括了开发者日常使用的智能编码生态。

这一点很关键。随着编码类 Agent 的调用量快速增长，推理账单往往成为团队的隐性支出大头。Liquid Inference 把自己插入到工具与模型之间的路由层，意味着开发者无需改动工具链，就能把现有的推理流量接入这套竞价系统。

产品还宣称支持完整的多模态能力，并接入了数百个开源权重与闭源权重模型。换句话说，它既能路由到开源阵营的模型（如各类 Llama、Qwen 衍生部署），也能触达闭源商业 API，覆盖面足够广，才有竞价腾挪的空间。

路由策略：预设规则与自动算法

在路由控制上，Liquid Inference 提供了两种模式。一是让用户自建路由规则预设（routing rule presets），按自己的需求定义在何种条件下走哪条路径——比如对延迟敏感的任务优先某类供给，对成本敏感的批量任务走最低价。

二是直接使用官方的 Auto 自动路由算法，把决策权交给系统，由其在价格、可用性等维度上综合判断。对不想折腾配置的用户来说，这降低了上手门槛；对有精细化需求的团队，预设规则则保留了可控性。

这种「规则 + 自动」的双轨设计是路由类产品的常见思路，真正的差异化还是要落到竞价机制能否持续带来有竞争力的价格，以及自动算法在真实负载下的决策质量上。

LLM 路由器（LLM Router）是近两年随着多模型生态成熟而兴起的一类基础设施工具，核心思路是在调用方与模型之间插入一个决策层，根据任务类型、成本、延迟、质量等多个维度动态选择最合适的模型或服务商。类似产品还有 OpenRouter（聚合多家 API 并统一计费）、LiteLLM（开源的多模型 SDK 封装）等。这类工具的竞争焦点通常集中在三点：接入模型的广度、路由决策的质量，以及对延迟的额外影响。Liquid Inference 以「竞价」作为路由决策的核心机制，相较于基于规则或模型能力匹配的路由方式，其优势在于价格优化的实时性，代价则是对供给侧生态规模的高度依赖——参与竞价的服务商越多、价差越大，系统的价值才越明显。

增长设计与早期激励

从冷启动角度看，Liquid Inference 用了一套典型的增长激励。新用户可凭邮箱免费注册，前 500 名用户获得 20 美元的免费推理额度，用于直接体验这套竞价路由。

推荐机制也颇为明确：推荐他人产生的费用可获得 20% 返还为免费推理额度，二级推荐则有 10%。这种分层返利在开发者工具的早期获客中并不少见，意在借助社区口碑快速铺开用户基数。

该产品的 Maker 是 Brett Harrison，上线首日在 Product Hunt 获得 74 票、4 条评论，位列当日第 13 名，归类于 API、软件工程与人工智能。整体热度属于中上水平，还谈不上爆款，但其切入的推理成本优化赛道确实具备现实需求。

值得关注的几个问题

竞价路由听起来优雅，落地却有不少细节需要验证。首先是模型一致性问题——同一个请求在不同供给方执行，输出的质量、风格乃至稳定性可能存在差异，对追求确定性的生产场景是个挑战。

其次是延迟。竞价决策本身引入了一层中间环节，如何在压低成本的同时不显著拖慢响应，考验工程实现。此外，数据经过第三方路由层转发，隐私与合规也是企业用户关心的点。

作为一款刚上线的早期产品，Liquid Inference 的理念清晰、接入面足够宽，对高频调用 LLM 的开发者和团队有尝试价值。但它能否真正跑通「供给侧竞价」的飞轮，还要看接入的服务商规模、价格优势的持续性，以及在真实工作负载下的综合表现。

模型一致性问题在 LLM 路由场景下尤为复杂。即便是同一个开源权重（如 Llama 3.1 70B），不同服务商在量化精度（FP16、INT8、INT4）、推理框架（vLLM、TGI、TensorRT-LLM）、采样参数默认值等方面的差异，都可能导致输出分布不同。对于生成式任务，这种差异可能难以察觉；但对于需要结构化输出（如 JSON 格式返回）或高度确定性的生产场景，同一 prompt 在不同执行环境下的行为漂移会成为真实的工程问题。这也是为什么部分企业即使有成本压力，依然倾向于锁定单一供应商——可预测性有时比价格更重要。