Decider
一种AI裁判(Judge)系统,用于对复杂判断进行评分和置信度估计,支持按置信度区间分箱报告准确率,具备校准曲线披露能力
时间轴 (近 90 天)
Decider 模型中,开发者可以设置置信度阈值,将低置信度的判断自动转交给人工处理。
Decider 支持图片输入,需将 base64 编码的 image_url 对象嵌入 JSON 的 state 字段中提交。
Decider 的类型化问题有三种类型:Boolean 问题返回 0 到 1 之间的概率值;Choice 问题返回预定义类别的概率分布;Score 问题返回有序评分标准各分值的概率。
d1-ultra 支持在一次请求中针对同一输入提出多个问题,并返回各自概率。
从2026年9月中旬TypeSafe发布Jev开始,一个多月内至少八家公司推出了AI决策模型,包括Cloudflare的Clef、AWS Strands团队的Decider、Perplexity的pplx-decider、Liquid AI的d1系列、OpenAI的Decisions API和Microsoft-Decision-1。
决策模型无法解释自己的判断,Strands团队坦言Decider在复杂问题上显著弱于推理模型,不适合编程、聊天或摘要场景。
决策模型不生成文本,而是给定输入状态和一组命名问题,在一次前向传播中返回带概率的类型化答案。
Decider在JudgeBench上报告90%及以上置信度判断正确率99.6%,80-90区间94.0%,70-80区间84.1%,低于70%为67.7%
一个返回选择、校准置信度和书面论证的裁判,能给用户的台账提供可自我校验的参照
Decider在ContextualJudgeBench按官方成对协议自测一致准确率为67.1%,对比官方参考值65.4%,并排除了12个因平台反复失败的顺序
还有 1 条时间轴事件
全部知识事实 (11)
Decider 的类型化问题有三种类型:Boolean 问题返回 0 到 1 之间的概率值;Choice 问题返回预定义类别的概率分布;Score 问题返回有序评分标准各分值的概率。
50%待验证Decider 支持图片输入,需将 base64 编码的 image_url 对象嵌入 JSON 的 state 字段中提交。
50%待验证Decider 模型中,开发者可以设置置信度阈值,将低置信度的判断自动转交给人工处理。
50%待验证d1-ultra 支持在一次请求中针对同一输入提出多个问题,并返回各自概率。
50%待验证决策模型无法解释自己的判断,Strands团队坦言Decider在复杂问题上显著弱于推理模型,不适合编程、聊天或摘要场景。
50%待验证决策模型不生成文本,而是给定输入状态和一组命名问题,在一次前向传播中返回带概率的类型化答案。
50%待验证在JudgeBench上,Decider进行了620次判断,公开披露6次首轮失败
50%待验证Decider在JudgeBench上报告90%及以上置信度判断正确率99.6%,80-90区间94.0%,70-80区间84.1%,低于70%为67.7%
50%待验证Decider在ContextualJudgeBench按官方成对协议自测一致准确率为67.1%,对比官方参考值65.4%,并排除了12个因平台反复失败的顺序
50%待验证一个返回选择、校准置信度和书面论证的裁判,能给用户的台账提供可自我校验的参照
50%待验证从2026年9月中旬TypeSafe发布Jev开始,一个多月内至少八家公司推出了AI决策模型,包括Cloudflare的Clef、AWS Strands团队的Decider、Perplexity的pplx-decider、Liquid AI的d1系列、OpenAI的Decisions API和Microsoft-Decision-1。
50%