[控场AI]
· 6 分钟阅读· 3,092 字

Gemini Decision 1登陆AI Gateway:不生成token的决策模型

Gemini Decision 1登陆AI Gateway:不生成token的决策模型

Google 推出面向判断而非生成的多模态模型 Gemini Decision 1,已接入 AI Gateway。

Google 的 Gemini Decision 1 正式上线 AI Gateway,定位不是生成内容而是做出判断,输出布尔概率、选项和分数,且不消耗输出 token。它支持文本、图像、音频、视频和 PDF 输入,适用于请求路由、策略检查、agent 工具过滤和结果排序等高频判断场景。调用通过 AI SDK 的 experimental_decide 方法,问题以类型加指令的结构化方式声明,输出由 API 层面约束。需要注意音频与视频仅通过 AI SDK 7 接入。决策调用同样计入日志与预算。文章认为把判断从生成中拆出是合理分工,但该模型不提供解释,需要可审计理由链时仍需生成模型补位。

AI Gateway 迎来了一位不太一样的模型。来自 Google 的 Gemini Decision 1 正式上线,它的定位并不是「生成内容」,而是「做出判断」——返回布尔概率、选项和分数,而不消耗输出 token。

Gemini Decision 1 上线 AI Gateway

一个不做生成的多模态模型

传统大模型调用是以「输出」为核心的:你给提示词,它返回文本、代码或结构化数据,token 消耗与输出长度直接挂钩。Gemini Decision 1 走的是另一条路。

据 AI Gateway 官方说明,这个多模态决策模型支持文本、图像、音频、视频和 PDF 文档输入,输出的是布尔概率、选择项(choices)和分数(scores)。换句话说,它回答的不是「该说什么」,而是「是不是」「选哪个」「打几分」。

这种设计带来一个直接后果:调用它不会产生输出 token 的开销。对于需要在链路中频繁做判断的场景,这是一个结构性的成本差异,而不是简单的参数优化。

「输出 token」是大模型计费与性能的核心单位:模型每生成一个词元(token),都要消耗一次前向计算并占用显存带宽,因此输出长度越长,延迟和费用越高。对于分类、判断这类只需一两个比特信息的任务,让生成模型输出完整文本(哪怕被提示词约束成单个词)仍然要经历自回归解码循环,成本与真正生成一段话相差不大。决策模型的做法是把输出空间直接限定在有限的答案集合上——布尔、若干选项或一个分数——从而绕过逐 token 解码,这也是它「不消耗输出 token」的技术根源。理解这一点,有助于判断哪些任务值得迁移到这类模型上。

典型场景:路由、策略与工具过滤

官方给出的用途清单指向了 agent 工程中最琐碎也最耗资源的环节。

请求路由是最直观的一类。当系统接收到用户输入时,往往需要先判断意图属于哪个分支,再交给对应的处理逻辑。用生成模型做这件事,等于用大炮打蚊子——不仅要写复杂的提示词约束格式,还要为每次分类支付输出 token。决策模型把这件事压缩成一次布尔或选择判断。

策略检查同样适用。比如审核一条请求是否违反规则、判断某个操作是否需要人工介入,本质上是二分类或多分类问题,概率和分数比一段自然语言解释更贴近下游程序的需要。

过滤 agent 工具是另一个高频场景。当 agent 面对几十个可用工具时,逐个尝试的代价很高,先用决策模型做一轮筛选,能显著缩小候选集。结果排序也在其列——用分数对候选结果打分排序,比让生成模型逐一解释优劣更高效。

代码长什么样

AI Gateway 给出的示例很能说明问题。通过 AI SDK 调用时,使用 experimental_decide 方法,传入模型标识 google/gemini-decision-1、当前状态文本,以及一个「问题定义」对象:

import { experimental_decide as decide } from 'ai';

const result = await decide({
  model: 'google/gemini-decision-1',
  state: 'I was charged twice. Please refund the duplicate charge.',
  questions: {
    requestsRefund: {
      type: 'boolean',
      instructions: 'Does the customer request a refund?',
    },
  },
});

console.log(result.answers.requestsRefund);

你可能没注意到问题定义的结构:每个问题有类型(布尔、选择、分数)和指令,模型按声明返回对应的答案字段。这比让生成模型输出 JSON 再解析要稳定得多,因为输出结构由 API 层面约束,而不是靠提示词祈祷。

文中提到的 AI SDK 是 Vercel 推出的开源 TypeScript 工具库,用于以统一接口调用不同厂商的模型,experimental_ 前缀表示该 API 仍处于实验阶段,签名可能变动。而「问题定义」对象本质上是把输出模式(schema)前置声明给 API:模型不再自由生成文本,而是在给定的类型约束下返回字段,服务端据此校验和解析。这与传统「让模型输出 JSON 再用正则或解析器提取」的做法有本质区别——后者依赖模型遵守提示词,失败时需要重试;前者由接口层保证结构合法,属于结构化输出(structured output)思路的进一步收紧。

多模态输入的接入差异

一个容易被忽略的细节是不同接入方式对输入模态的支持并不一致。

PDF、音频和视频这三种较重的输入,目前只通过 AI SDK 7 支持。TypeSafe 兼容 API 和 Decisions API 则仅支持文本和图像输入。这意味着如果业务依赖音频或视频做判断,接入路径的选择会受到限制,需要提前确认。

调用方式上,AI Gateway 提供了三条路:AI SDK、TypeSafe 兼容 API,以及 Decisions API。对已经在用 AI Gateway 的团队来说,迁移成本主要体现在改调用方法,而不是重构整个数据流。

AI Gateway 是介于应用与各家模型供应商之间的统一代理层,负责鉴权、路由、用量统计和日志,使团队不必为每个模型分别对接 SDK 与计费体系。它通常同时提供两种接口形态:一种是面向 AI SDK 等客户端库的原生调用,一种是与 OpenAI 风格的兼容 API 对齐的 REST 接口,方便已有代码低成本切换。不同接入路径支持的输入模态不一致,往往源于各接口的请求体规范与文件上传机制差异,因此涉及音频、视频等大文件时,需要先确认所选路径是否具备对应的传输与解析能力。

与 AI Gateway 计费和日志的整合

决策调用会和其他模型请求一样出现在日志中,并计入预算。这一点对生产环境很关键:决策模型虽然不产生输出 token,但调用本身仍然是被追踪和计量的资源消耗,团队可以在统一的用量视图里看到它占的比例。

AI Gateway 本身的定位是「统一访问模型、追踪用量与成本」,Decision 1 的接入延续了这个思路。对于同时在用多个模型的团队,把决策类调用纳入同一套可观测体系,比单独维护一个分类服务要省心。

这类模型意味着什么

把「判断」从「生成」中拆出来,是一个值得关注的方向。agent 系统的瓶颈往往不在生成质量,而在于每一步决策的延迟和成本。用一个专门优化过的模型处理分支判断,让生成模型专注在真正需要创造力的环节,这种分工在工程上越来越合理。

当然,决策模型的边界也很清楚:它输出的是概率、选项和分数,不提供解释。当业务需要可审计的理由链时,仍需生成模型或额外的解释层补位。对于纯程序化消费的场景,这个取舍是划算的。

想上手的开发者可以查阅 AI Gateway 的决策文档了解 Choice、Score 和 Boolean 三类问题的用法,或浏览可用模型列表挑选合适的决策模型。

#Gemini Decision 1#AI Gateway#决策模型#多模态模型#AI SDK#agent 工具过滤#布尔概率
分享:

相关推荐