决策模型走红:更快更便宜还不会幻觉?

TypeSafe AI 的 Jev 以亚秒级延迟和极低价切入市场,但“不幻觉”不等于“不犯错”。
TypeSafe AI 推出决策模型 Jev,以亚秒级延迟、极低定价和“不会产生幻觉”为卖点,迅速引发 Cloudflare、Amazon、OpenAI、微软等跟进,并完成 8.7 亿美元融资。决策模型保留 LLM 的 transformer 架构,但只做一次前向传播,并将输出约束为预定义结构化格式,本质是具备泛化能力的分类器。独立研究证实其速度优势,同时指出“消除输出幻觉”并不等于“消除决策错误”:在数学、逻辑及医学、金融、法律等专业领域,决策模型仍落后于 LLM。研究者因此看好决策模型与 LLM 的混合架构,用前者处理高频固定判断、后者负责推理与专业知识,兼顾准确率与成本。

大语言模型(LLM)在数学和编程上表现亮眼,却因高昂成本和动辄“幻觉”出事实错误而饱受诟病。一家名为 TypeSafe AI 的初创公司声称,其推出的 Jev 模型更便宜、更快,而且“不会产生幻觉”。这个说法迅速搅动了整个行业——Cloudflare、Amazon、OpenAI、微软相继推出模仿 Jev 能力的“决策模型”,独立开发者和学术研究者也贡献了数十个变体。
Jev 凭什么搅动市场
TypeSafe AI 将 Jev 称为“System One 模型”,借用心理学家丹尼尔·卡尼曼在《思考,快与慢》中提出的认知理论:系统一负责快速、本能的思考,系统二负责缓慢、审慎的思考。该公司的论点是,现代 LLM 提供了系统二,却太慢,无法承担系统一的角色。
独立测试佐证了速度层面的说法。卡内基梅隆大学信息系统教授 Ramayya Krishnan 与同事合作的预印本论文发现,Jev 在 RewardBench、JudgeBench 等多个衡量决策准确性的基准上,延迟中位数远低于当时的 LLM 对手;OpenAI 当时最强的 GPT-6 Astra 延迟中位数在秒级,而 Jev 处于亚秒级区间。TypeSafe AI 自身的宣传则将端到端响应延迟定位在几十到几百毫秒之内,与 LLM 动辄数秒、复杂任务耗时数小时形成对照。
更快的回复通常意味着更便宜。TypeSafe AI 对输入 token 收取极低费用,输出 token 免费;相比之下,GPT-6 Astra 的输入与输出定价都高出数个量级,主打快速廉价推理的 GPT-6 Luna 也明显更贵。
资本层面,这家公司近期完成了 8.7 亿美元融资,估值达到 75 亿美元。独立开发者 Matt Mastracci 评价说,Jev “真正把决策模型推到了台前”,短短六七周内就涌现出数十个模型。
丹尼尔·卡尼曼的双系统理论出自其 2011 年著作《思考,快与慢》。系统一(System One)指自动、直觉、低耗能的认知过程,例如识别一张愤怒的脸或回答 2+2;系统二(System Two)则需要注意力投入,负责复杂计算、逻辑推演与自我控制。卡尼曼用这一框架解释人类判断中的诸多偏差:系统一快速给出直觉答案,系统二本应审核却发现纠错成本过高,于是人们常常接受错误直觉。TypeSafe AI 借用这一隐喻,意在说明 LLM 扮演的是“慢思考”角色,而大量实际业务场景(如邮件分类、内容审核、路由判断)只需要“快思考”。
RewardBench 与 JudgeBench 是评估模型作为“评判者”能力的基准。RewardBench 衡量奖励模型在对话偏好判断上的准确率,JudgeBench 则考察模型对回答质量作出正确裁决的能力。两者共同点是:任务形式固定、输出为有限选项,恰好契合决策模型的优势区间;这也解释了为何 Jev 在这些基准上的延迟优势能直接转化为可用性优势。
决策模型的技术原理
决策模型并非凭空出现。Cloudflare 在 Hugging Face 上开源了 Clef,其基础是阿里巴巴的 Qwen LLM。据 Cloudflare 产品经理 Michelle Chen 解释,LLM 生成输出时逐个 token 地查看此前所有 token 并预测下一个,而决策模型只做一次前向传播,读取全部输入后直接给出一个输出——这正是速度快得多的原因。
这些模型仍然保留 LLM 的神经元和 transformer 架构,也仍然输入输出 token,但把 token 转成文本的部分做了约束。复旦大学教授 Zhongyu Wei 参与的研究指出,Jev 只能以预定义的结构化格式作答:给定问题和 A、B、C 等选项,它必须从中选择,并同时返回概率。
从某种意义上看,决策模型是对分类器的一次回归。分类器早已用于垃圾邮件过滤和人脸检测。Chen 直言:“这类模型并不新鲜,几乎可以说是一次重新包装。”
真正的升级在于泛化能力。Mastracci 解释说,传统分类器需要针对特定领域训练,而决策模型保留了 LLM 的通用智能,可以“拿来即用,指向你的问题,它就能工作”。Cloudflare 就在多种场景中使用了这一特性:标记 GitHub 文档仓库中的垃圾拉取请求、拦截垃圾与钓鱼邮件、识别钓鱼域名、检测针对 LLM 的提示注入攻击,以及阅读互联网骨干网故障相关邮件并判断其是否会影响自身服务。

前向传播(forward pass) 指神经网络从输入层到输出层完成一次完整计算,不涉及反向传播或迭代生成。LLM 的自回归解码需要为每个输出 token 重复一次前向传播,生成长度为 N 的回答就要跑 N 次;决策模型只跑一次,读取全部输入后在预设的候选空间上输出概率分布。这一差异是数量级加速的根本来源,而非单纯的模型压缩或硬件优化。
提示注入(prompt injection) 是针对 LLM 应用的攻击方式:攻击者在输入内容(如网页、邮件、文档)中夹带指令,诱导模型忽略原有系统提示、执行攻击者意图。Cloudflare 用决策模型检测此类攻击,是因为将“这段文本是否试图覆盖代理指令”转化为一个二分类或概率打分任务后,单次前向传播即可完成,且输出被约束在有限标签内,不会像生成式模型那样被恶意文本“带跑”。
“不会幻觉”的真相与边界
TypeSafe 这个名字本身就在做类比:类型安全语言会在程序运行前拒绝不兼容的数据操作,而不是等到运行后产生坏结果;决策模型同样阻止模型生成意料之外的回复。
严格来说,“Jev 永不幻觉”是成立的。LLM 之所以幻觉,是因为它要在巨大的词表上反复计算 token 概率并输出大量 token,低概率 token 可能把回答带偏,模型也可能输出在训练分布上合理、却不符合上下文的 token。决策模型只在预先确定的可能性之间计算概率并选出最可能者,幻觉因此被消除。
但 Krishnan 提醒:“消除输出中的幻觉,并不等于消除决策中的错误。”他和合作者让 Jev 判断问题答案是否正确,发现当判断仅靠阅读提示即可完成时表现良好,一旦涉及数学或逻辑谜题,表现就明显下滑。
Wei 团队的研究得出相似结论:最好的决策模型在文档理解类问题上能略微超过 LLM,在工具使用类问题(例如选择正确的软件工具来完成用户任务)上接近 LLM,但在需要医学、金融、法律等专业知识的领域则落后。Wei 认为推理能力是关键因素之一——推理让 LLM 在给出最终答案前先梳理思路——但推理并不能解释所有领域差距,训练决策模型的方法也可能是变量,他们因此在 SII-Decision 中采用了针对决策任务的训练方式。
类型安全(type safety) 是编程语言概念:编译器在程序运行前静态检查变量与操作的类型是否匹配,不兼容的组合直接拒绝编译,而不是等到运行时崩溃或产生错误结果。TypeSafe AI 的公司命名与产品定位都源于此类比——把“模型输出必须是预定义结构之一”视为一种类型约束,从机制上排除生成非法输出的可能。需要注意的是,类型安全保证的是“程序不会因类型错误而出错”,并不保证“程序逻辑正确”;同理,决策模型保证输出格式合法且落在候选集内,却不保证所选选项在语义上正确。这正是 Krishnan 所说“消除幻觉不等于消除决策错误”的技术根源。
混合架构或成主流
决策模型与 LLM 未必是竞争关系。Krishnan 与同事还测试了把 Jev 的低置信度回答转交 GPT-6 进一步处理,结果这种组合在准确率上略优于单独使用 GPT-6,成本却显著更低。
Wei 认为这种“混合架构”会变得普遍:“决策模型可以调用 LLM 给出更详细的解释,LLM 也可以调用决策模型做快速判断。我认为这非常灵活。”
对开发者而言,这意味着不必在速度与准确性之间做非此即彼的选择。把高频、格式固定的判断交给决策模型,把需要推理和专业知识的任务留给 LLM,可能才是当前更务实的工程路径。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。