Decision Models
在 LLM 输出与工具执行之间插入的本地可编程校验层,基于规则、状态或上下文判断工具调用是否合法,实现应用侧的主动拦截。
核心事实
时间轴 (近 90 天)
发布者指出决策模型在安全监控中相当有用。
用户现在可以在 Perplexity Numbat 中使用决策模型(Decision Models)。
决策模型官方核心数据为:平均每次决策90毫秒、公开基准准确率约76%,本地运行免费
决策模型没有推理步骤(There's no reasoning step),模型只对prompt读一遍后直接对答案token打分,这是它快的根本原因
决策模型通过本地HTTP请求工作,判断文本放进State,问题放进Questions,本机模型一次请求回答全部问题
决策模型支持四种问题类型(Choice、Null布尔、Score等),可在同一个请求里混用,Questions可包含1到64个命名问题
Confidence衡量的是概率分布有多集中,而非答案对错,官方明确更高的值不保证答案正确,阈值必须自己在数据上测出来
Confidence的正确用法是设阈值,低于阈值就转人工或走fallback,而不是硬取最大值
决策模型可用于工具调用审核,对rm -rf删除目录命令给出0.996伤害概率,耗时138毫秒,作为Agent执行工具前的安全闸门
决策模型中每个问题都是独立打分的,答案不会传给后续问题;请求体限制在64KB以内,Nimble上下文为8192 token
还有 2 条时间轴事件
全部知识事实 (12)
决策模型专注于回答是/否判断、多项选择以及带概率的评分类问题
75%待验证Confidence衡量的是概率分布有多集中,而非答案对错,官方明确更高的值不保证答案正确,阈值必须自己在数据上测出来
60%待验证发布者指出决策模型在安全监控中相当有用。
50%待验证用户现在可以在 Perplexity Numbat 中使用决策模型(Decision Models)。
50%待验证决策模型没有推理步骤(There's no reasoning step),模型只对prompt读一遍后直接对答案token打分,这是它快的根本原因
50%待验证决策模型支持四种问题类型(Choice、Null布尔、Score等),可在同一个请求里混用,Questions可包含1到64个命名问题
50%待验证决策模型中每个问题都是独立打分的,答案不会传给后续问题;请求体限制在64KB以内,Nimble上下文为8192 token
50%待验证决策模型官方核心数据为:平均每次决策90毫秒、公开基准准确率约76%,本地运行免费
50%待验证Confidence的正确用法是设阈值,低于阈值就转人工或走fallback,而不是硬取最大值
50%待验证决策模型可用于工具调用审核,对rm -rf删除目录命令给出0.996伤害概率,耗时138毫秒,作为Agent执行工具前的安全闸门
50%待验证决策模型通过本地HTTP请求工作,判断文本放进State,问题放进Questions,本机模型一次请求回答全部问题
50%待验证Ollama在最新版本中加入了决策模型(Decision Models),它不生成文本,只从给定的答案里挑一个并附带完整的概率分布
60%