Gemini Decision 1登陆AI Gateway:不生成token的决策模型

Google 推出面向判断而非生成的多模态模型 Gemini Decision 1,已接入 AI Gateway。
Google 的 Gemini Decision 1 正式上线 AI Gateway,定位不是生成内容而是做出判断,输出布尔概率、选项和分数,且不消耗输出 token。它支持文本、图像、音频、视频和 PDF 输入,适用于请求路由、策略检查、agent 工具过滤和结果排序等高频判断场景。调用通过 AI SDK 的 experimental_decide 方法,问题以类型加指令的结构化方式声明,输出由 API 层面约束。需要注意音频与视频仅通过 AI SDK 7 接入。决策调用同样计入日志与预算。文章认为把判断从生成中拆出是合理分工,但该模型不提供解释,需要可审计理由链时仍需生成模型补位。
AI Gateway 迎来了一位不太一样的模型。来自 Google 的 Gemini Decision 1 正式上线,它的定位并不是「生成内容」,而是「做出判断」——返回布尔概率、选项和分数,而不消耗输出 token。

一个不做生成的多模态模型
传统大模型调用是以「输出」为核心的:你给提示词,它返回文本、代码或结构化数据,token 消耗与输出长度直接挂钩。Gemini Decision 1 走的是另一条路。
据 AI Gateway 官方说明,这个多模态决策模型支持文本、图像、音频、视频和 PDF 文档输入,输出的是布尔概率、选择项(choices)和分数(scores)。换句话说,它回答的不是「该说什么」,而是「是不是」「选哪个」「打几分」。
这种设计带来一个直接后果:调用它不会产生输出 token 的开销。对于需要在链路中频繁做判断的场景,这是一个结构性的成本差异,而不是简单的参数优化。
「输出 token」是大模型计费与性能的核心单位:模型每生成一个词元(token),都要消耗一次前向计算并占用显存带宽,因此输出长度越长,延迟和费用越高。对于分类、判断这类只需一两个比特信息的任务,让生成模型输出完整文本(哪怕被提示词约束成单个词)仍然要经历自回归解码循环,成本与真正生成一段话相差不大。决策模型的做法是把输出空间直接限定在有限的答案集合上——布尔、若干选项或一个分数——从而绕过逐 token 解码,这也是它「不消耗输出 token」的技术根源。理解这一点,有助于判断哪些任务值得迁移到这类模型上。
典型场景:路由、策略与工具过滤
官方给出的用途清单指向了 agent 工程中最琐碎也最耗资源的环节。
请求路由是最直观的一类。当系统接收到用户输入时,往往需要先判断意图属于哪个分支,再交给对应的处理逻辑。用生成模型做这件事,等于用大炮打蚊子——不仅要写复杂的提示词约束格式,还要为每次分类支付输出 token。决策模型把这件事压缩成一次布尔或选择判断。
策略检查同样适用。比如审核一条请求是否违反规则、判断某个操作是否需要人工介入,本质上是二分类或多分类问题,概率和分数比一段自然语言解释更贴近下游程序的需要。
过滤 agent 工具是另一个高频场景。当 agent 面对几十个可用工具时,逐个尝试的代价很高,先用决策模型做一轮筛选,能显著缩小候选集。结果排序也在其列——用分数对候选结果打分排序,比让生成模型逐一解释优劣更高效。
代码长什么样
AI Gateway 给出的示例很能说明问题。通过 AI SDK 调用时,使用 experimental_decide 方法,传入模型标识 google/gemini-decision-1、当前状态文本,以及一个「问题定义」对象:
import { experimental_decide as decide } from 'ai';
const result = await decide({
model: 'google/gemini-decision-1',
state: 'I was charged twice. Please refund the duplicate charge.',
questions: {
requestsRefund: {
type: 'boolean',
instructions: 'Does the customer request a refund?',
},
},
});
console.log(result.answers.requestsRefund);
你可能没注意到问题定义的结构:每个问题有类型(布尔、选择、分数)和指令,模型按声明返回对应的答案字段。这比让生成模型输出 JSON 再解析要稳定得多,因为输出结构由 API 层面约束,而不是靠提示词祈祷。
文中提到的 AI SDK 是 Vercel 推出的开源 TypeScript 工具库,用于以统一接口调用不同厂商的模型,experimental_ 前缀表示该 API 仍处于实验阶段,签名可能变动。而「问题定义」对象本质上是把输出模式(schema)前置声明给 API:模型不再自由生成文本,而是在给定的类型约束下返回字段,服务端据此校验和解析。这与传统「让模型输出 JSON 再用正则或解析器提取」的做法有本质区别——后者依赖模型遵守提示词,失败时需要重试;前者由接口层保证结构合法,属于结构化输出(structured output)思路的进一步收紧。
多模态输入的接入差异
一个容易被忽略的细节是不同接入方式对输入模态的支持并不一致。
PDF、音频和视频这三种较重的输入,目前只通过 AI SDK 7 支持。TypeSafe 兼容 API 和 Decisions API 则仅支持文本和图像输入。这意味着如果业务依赖音频或视频做判断,接入路径的选择会受到限制,需要提前确认。
调用方式上,AI Gateway 提供了三条路:AI SDK、TypeSafe 兼容 API,以及 Decisions API。对已经在用 AI Gateway 的团队来说,迁移成本主要体现在改调用方法,而不是重构整个数据流。
AI Gateway 是介于应用与各家模型供应商之间的统一代理层,负责鉴权、路由、用量统计和日志,使团队不必为每个模型分别对接 SDK 与计费体系。它通常同时提供两种接口形态:一种是面向 AI SDK 等客户端库的原生调用,一种是与 OpenAI 风格的兼容 API 对齐的 REST 接口,方便已有代码低成本切换。不同接入路径支持的输入模态不一致,往往源于各接口的请求体规范与文件上传机制差异,因此涉及音频、视频等大文件时,需要先确认所选路径是否具备对应的传输与解析能力。
与 AI Gateway 计费和日志的整合
决策调用会和其他模型请求一样出现在日志中,并计入预算。这一点对生产环境很关键:决策模型虽然不产生输出 token,但调用本身仍然是被追踪和计量的资源消耗,团队可以在统一的用量视图里看到它占的比例。
AI Gateway 本身的定位是「统一访问模型、追踪用量与成本」,Decision 1 的接入延续了这个思路。对于同时在用多个模型的团队,把决策类调用纳入同一套可观测体系,比单独维护一个分类服务要省心。
这类模型意味着什么
把「判断」从「生成」中拆出来,是一个值得关注的方向。agent 系统的瓶颈往往不在生成质量,而在于每一步决策的延迟和成本。用一个专门优化过的模型处理分支判断,让生成模型专注在真正需要创造力的环节,这种分工在工程上越来越合理。
当然,决策模型的边界也很清楚:它输出的是概率、选项和分数,不提供解释。当业务需要可审计的理由链时,仍需生成模型或额外的解释层补位。对于纯程序化消费的场景,这个取舍是划算的。
想上手的开发者可以查阅 AI Gateway 的决策文档了解 Choice、Score 和 Boolean 三类问题的用法,或浏览可用模型列表挑选合适的决策模型。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。