[控场AI]
产品裁判系统 / judge系统

Decider

一种AI裁判(Judge)系统,用于对复杂判断进行评分和置信度估计,支持按置信度区间分箱报告准确率,具备校准曲线披露能力

时间轴 (近 90 天)

10月16日

Decider 模型中,开发者可以设置置信度阈值,将低置信度的判断自动转交给人工处理。

待验证50%
10月16日

Decider 支持图片输入,需将 base64 编码的 image_url 对象嵌入 JSON 的 state 字段中提交。

待验证50%
10月16日

Decider 的类型化问题有三种类型:Boolean 问题返回 0 到 1 之间的概率值;Choice 问题返回预定义类别的概率分布;Score 问题返回有序评分标准各分值的概率。

待验证50%
10月16日

d1-ultra 支持在一次请求中针对同一输入提出多个问题,并返回各自概率。

待验证50%
10月15日

从2026年9月中旬TypeSafe发布Jev开始,一个多月内至少八家公司推出了AI决策模型,包括Cloudflare的Clef、AWS Strands团队的Decider、Perplexity的pplx-decider、Liquid AI的d1系列、OpenAI的Decisions API和Microsoft-Decision-1。

待验证50%
10月15日

决策模型无法解释自己的判断,Strands团队坦言Decider在复杂问题上显著弱于推理模型,不适合编程、聊天或摘要场景。

待验证50%
10月13日

决策模型不生成文本,而是给定输入状态和一组命名问题,在一次前向传播中返回带概率的类型化答案。

待验证50%
10月12日

Decider在JudgeBench上报告90%及以上置信度判断正确率99.6%,80-90区间94.0%,70-80区间84.1%,低于70%为67.7%

待验证50%
10月12日

一个返回选择、校准置信度和书面论证的裁判,能给用户的台账提供可自我校验的参照

待验证50%
10月12日

Decider在ContextualJudgeBench按官方成对协议自测一致准确率为67.1%,对比官方参考值65.4%,并排除了12个因平台反复失败的顺序

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

待验证

Decider 的类型化问题有三种类型:Boolean 问题返回 0 到 1 之间的概率值;Choice 问题返回预定义类别的概率分布;Score 问题返回有序评分标准各分值的概率。

50%
待验证

Decider 支持图片输入,需将 base64 编码的 image_url 对象嵌入 JSON 的 state 字段中提交。

50%
待验证

Decider 模型中,开发者可以设置置信度阈值,将低置信度的判断自动转交给人工处理。

50%
待验证

d1-ultra 支持在一次请求中针对同一输入提出多个问题,并返回各自概率。

50%
待验证

决策模型无法解释自己的判断,Strands团队坦言Decider在复杂问题上显著弱于推理模型,不适合编程、聊天或摘要场景。

50%
待验证

决策模型不生成文本,而是给定输入状态和一组命名问题,在一次前向传播中返回带概率的类型化答案。

50%
待验证

在JudgeBench上,Decider进行了620次判断,公开披露6次首轮失败

50%
待验证

Decider在JudgeBench上报告90%及以上置信度判断正确率99.6%,80-90区间94.0%,70-80区间84.1%,低于70%为67.7%

50%
待验证

Decider在ContextualJudgeBench按官方成对协议自测一致准确率为67.1%,对比官方参考值65.4%,并排除了12个因平台反复失败的顺序

50%
待验证

一个返回选择、校准置信度和书面论证的裁判,能给用户的台账提供可自我校验的参照

50%
待验证

从2026年9月中旬TypeSafe发布Jev开始,一个多月内至少八家公司推出了AI决策模型,包括Cloudflare的Clef、AWS Strands团队的Decider、Perplexity的pplx-decider、Liquid AI的d1系列、OpenAI的Decisions API和Microsoft-Decision-1。

50%

来源文章