Cat Jam 隐身模型登陆 AI Gateway：免费的低延迟推理编程助手

AI Gateway 近日上线了一款名为 Cat Jam 的 stealth 模型，在隐身期内对所有用户免费开放。这是一款面向编程与 agentic 任务的推理模型，主打低延迟推理，官方称其支持 function calling 与结构化输出，并会同时返回模型的推理文本和最终答案。

核心能力：面向 Agent 工作流的推理模型

Cat Jam 的定位很明确——不是通用聊天模型，而是一款面向编程和 agentic 任务的推理模型。它支持 function calling，意味着 agent 可以将它连接到用户自有的工具链上；同时支持结构化输出，模型会按照用户提供的 JSON schema 返回结果。响应中会包含模型的推理文本，与答案一并给出。

推理力度方面，Cat Jam 提供 low、medium、high、xhigh 和 max 五档可选，用户可以根据任务复杂度在速度与推理深度之间做权衡。这一设计思路与当前推理模型的主流做法一致：把"思考多少"的控制权交给调用方，而不是固定在某个默认档位。

需要留意的是，Cat Jam 仅接受文本输入，不支持图像等多模态输入。

Function calling（函数调用）指模型在生成过程中不直接返回自然语言答案，而是输出一段符合预定义 schema 的结构化调用指令，由调用方（如 agent 框架）执行该函数、把返回值回填给模型后继续推理。它是构建 agent 的基础机制：模型借此获得查询数据库、调用搜索引擎、操作文件系统等外部能力。结构化输出则通常通过在解码阶段施加约束实现——例如 OpenAI 的 JSON Schema 模式或基于语法文法的解码（grammar-constrained decoding），保证输出严格符合提供的 JSON schema，避免下游解析失败。两者结合，使模型能稳定嵌入自动化流水线，而非仅用于人机对话。

数据留存政策：ZDR 不可用

Cat Jam 不提供零数据留存（Zero Data Retention，ZDR）。官方说明中提到，出于安全原因，prompt 可能会被保留。

对于处理敏感代码或用户数据的团队来说，这一点需要在接入前认真评估。免费与低延迟的代价，是数据留存政策上的让步。在 agent 场景中，模型往往会接触到代码库、内部工具返回值甚至凭证信息，ZDR 的缺失可能直接触发合规审查。

零数据留存（Zero Data Retention，ZDR）是企业级 AI 采购中的常见合规要求，指 provider 在请求处理完成后不保存任何 prompt 与响应内容，包括日志、缓存和训练用途。与之相对的是有限留存（如保留 30 天后删除）和完整留存。ZDR 通常需要企业客户与 provider 单独签署协议（如 OpenAI 的 ZDR 附加条款、Anthropic 的企业版数据政策）方可启用，并不默认开启。需要区分的是：不用于训练与不留存是两回事——不少 provider 承诺数据不用于模型训练，但仍会在服务端保留一段时间以支持滥用监控、内容审核或法律合规。Cat Jam 官方明确 ZDR 不可用并说明 prompt 可能因安全原因被保留，属于后者。

接入方式：一条命令切换到多种工具

Cat Jam 的兼容面覆盖得比较广，官方列出的接入途径包括 AI SDK、OpenAI 兼容的 Chat Completions 与 Responses API、Anthropic 兼容的 Messages API，以及连接到 AI Gateway 的各类编码 agent。调用时使用模型名 stealth/cat-jam。

以 AI SDK 为例，调用方式相当直接：

import { streamText } from 'ai';

const result = streamText({
  model: 'stealth/cat-jam',
  prompt: 'Write a TypeScript function that retries fetch with exponential backoff.',
});

如果要在 Claude Code、Codex、Cursor 等工具中使用，需要先安装最新版 Vercel CLI 并运行 setup：

npx vercel ai-gateway setup

然后在 agent 中选择 stealth/cat-jam。也可以在 model playground 中直接试用。

这套接入路径的设计意图很清楚：降低迁移成本。用户不必为 Cat Jam 单独改造代码，只要把模型名替换掉就能跑起来，对于已经在用 AI Gateway 的团队来说几乎零成本。

AI Gateway 的定位：统一 API 层

要理解 Cat Jam 这次上线的意义，需要先看 AI Gateway 本身。它提供的是统一 API，用于调用模型、追踪用量与成本，并配置重试、故障转移和性能优化，以获取高于单一 provider 的可用性。此外还包括自定义报表、API key 预算、路由规则等功能。

定价方面，AI Gateway 按 provider 价格原样透传，不加价，也不对推理收取平台费，BYOK（Bring Your Own Key）请求同样适用这一规则。

这意味着 AI Gateway 的商业模式不在推理上加价，而是通过统一接入层、可观测性和路由能力来建立价值。Cat Jam 作为 stealth 模型在此期间免费，等于把这层基础设施的价值直接展示给开发者——先用起来，再谈留存。

Stealth 模型是 AI 模型分发中的一种灰度发布形态：provider 将新模型以匿名或代号形式临时上线，在正式命名和定价公布前收集真实工作负载下的延迟、准确率和错误率数据，同时避免过早暴露产品路线图。对开发者而言，stealth 期的典型特征是免费或低价、随时可能下线、无 SLA 保证。Stealth 阶段的表现数据有时还会用于微调最终定价档位或调整默认推理力度。因此在这类模型上构建生产依赖存在风险，更适合作为候选评估对象——用真实任务跑一轮基准测试，待正式发布后再决定是否接入。

一个值得关注的信号

Stealth 模型的上线通常有两种解读：一是新模型在正式发布前的灰度测试，收集真实场景下的表现数据；二是厂商借免费期换取开发者反馈。Cat Jam 的低延迟推理定位，加上对多档推理力度和 agent 工作流的支持，指向的是高频调用的编程助手场景，而非低频的深度问答。

免费期结束后 Cat Jam 是否会转为付费、定价如何，目前官方没有给出信息。对于有兴趣的团队，在 stealth 期做一轮真实任务下的延迟与准确率测试，是成本最低的评估方式。