类型化决策革命：Agent为何不该让LLM来做决定

一场围绕"决策"的AI范式转移

一篇新近发布的技术评述把两个名字摆在了一起：由前OpenAI研究员打造的Jev（来自TypeSafe AI，刚以75亿美元估值完成8.7亿美元融资，由a16z领投），以及被称为"开放权重替代方案"的VIDRAFT Darwin-ZTC。两者共享同一个核心论点——Agent不应该去问一个聊天模型来做决定。

这个看似简单的判断，正在成为Agent工程栈中一个被低估的痛点。当下大多数Agent系统在做路由、分类或安全判断时，仍然依赖对话模型生成一段文字，再把这段散文解析回程序可用的决策。这个过程慢、不确定，而且每生成一个token都是一次潜在的漂移或幻觉机会。

Jev 做了什么，为什么重要

根据该评述的描述，Jev不为路由和分类生成文本，而是直接返回结构化决策：从固定选项中给出一个choice（选择）、在有序刻度上给出一个score（分数），或者为一个是非陈述给出一个probability（概率）。

这意味着一个安全节点可以直接写出类似 if (safety >= 0.9) execute; 的逻辑，不需要解析任何文本。决策结果是可直接消费的类型化值，而不是一段需要正则匹配或二次推理的自然语言。

文章还提到一个耐人寻味的细节：OpenAI据称在两周之内就跟进推出了Decisions API。这从侧面印证了类型化决策并非小众玩法，而是头部厂商都在争抢的方向。当一个前OpenAI研究员带着这个理念拿下75亿美元估值，并引来原东家迅速跟进时，这个赛道的热度已经摆在眼前的事实。

零token置信度：ZTC 的技术内核

评述在点名开放阵营时，特别提到了VIDRAFT的Darwin-27B-ZTC-v2——一个用ZTC（Zero-Token Confidence，零token置信度）来为决策打分的开放权重模型，它在整个过程中不生成任何token。

ZTC的做法是在一次前向传播中完成决策，通过对模型最终隐藏状态施加一个经过校准的探针（calibrated probe）来得出结果。核心逻辑可以浓缩成几行代码：

**校准探针（calibrated probe）** 的概念值得展开。探针本质上是一个线性分类器，训练目标是从语言模型的内部表示（隐藏状态向量）中提取特定语义信号。与微调整个模型不同，探针只调整一个轻量的线性变换层，代价极小。"校准"则指通过温度缩放（temperature scaling）或保序回归（isotonic regression）等后处理手段，使探针输出的分数在统计意义上真实反映置信度——即输出0.9时，预测正确的实际频率确实接近90%。ZTC的`(h - mu) / sd @ w`这行代码完整体现了这一过程：先对隐藏状态做标准化（减均值、除标准差），再做线性投影得到最终分数，整个推断路径无需采样，因此天然确定性。这与传统softmax输出概率的做法有本质区别——softmax依赖token生成，而探针直接作用于前向传播最后一层的激活值。
# 一次前向传播，零生成token
h     = model(text).last_hidden_state[last_non_pad_token]
score = ((h - mu) / sd) @ w   # 校准探针 -> 类型化决策

模型读取问题，在一次前向传播后直接返回决策。因为不生成token，结果是确定性的，成本也低到足以在每一次请求上都运行。这正是类型化决策相对于"让聊天模型决定"的三重优势所在：去掉生成开销、消除非确定性、避免把文本再解析回决策时引入的漂移。

开放阵营：今天就能用

闭源与开源之间的差别其实很直接——你不必等待一个拿到巨额融资的商业产品上线，才能尝试这套思路。VIDRAFT的决策栈以Apache-2.0协议完全公开。

相关资源包括：

• ZTC方法与推理代码：github.com/final-bench/ztc
• Darwin-27B-ZTC-v2与决策基准测试：github.com/final-bench/s1mb
• ONGRID（本体图谱 + 检索 + 类型化决策引擎）：github.com/final-bench/ongrid
• 模型与演示：huggingface.co/FINAL-Bench

对于正在搭建Agent系统的工程师来说，这意味着可以直接把一个确定性、低成本的类型化决策模块接入现有流程，而无需承担商业API的调用成本和黑盒风险。需要提醒的是，本文大量叙述来自VIDRAFT自身的推广文章，关于Jev的融资与OpenAI跟进等细节也转述自单一评述来源，读者在采用前应结合实际基准自行验证。

ONGRID 是这套决策栈中值得单独说明的组件。它将本体图谱（Ontology Graph）、向量检索与类型化决策引擎三者集成：本体图谱负责结构化地表示领域知识和决策选项之间的逻辑关系，检索层负责为当前请求找到相关的上下文约束，而ZTC模型则基于这些约束直接给出结构化决策。这种架构的优势在于把"知识表示"与"决策推断"分离——图谱可以独立维护和审计，决策模型可以独立升级，二者通过检索接口解耦。对于需要在Agent流程中嵌入可解释、可追溯决策节点的工程场景，ONGRID提供了一个比裸调用LLM更具工程可控性的替代方案。

几个关键问题

什么是类型化决策模型？ 一种返回结构化、带类型结果（如choice、score或probability）的模型，软件可以直接消费这些结果，而不必解析自由格式的文本。

ZTC（零token置信度）是什么？ 一种在单次前向传播中产生决策、不生成任何token的方法，通过对模型最终隐藏状态应用校准探针实现。它是确定性的，且成本低廉。

为什么不干脆用聊天模型来做决定？ 对于一个决策任务来说，文本生成是额外开销，结果不确定，而把文本解析回决策又会引入漂移。类型化、零token的决策同时规避了这三个问题。

写在最后

从Jev的巨额融资到OpenAI的快速跟进，再到开放阵营的ZTC实现，这股"类型化决策"浪潮揭示了一个清晰趋势：Agent工程正在把"决策"从语言生成任务中剥离出来，交给更快、更确定、更廉价的专用机制。对追求可靠性的生产级Agent而言，这或许比追逐更大的对话模型更具实际价值。