[控场AI]
· 7 分钟阅读· 3,659 字

Wity:首个System 1.5模型,为软件决策而生

Wity:首个System 1.5模型,为软件决策而生

Wity 以 System 1.5 定位,用带概率的类型化决策填补 LLM 与快速模型之间的空白。

文章介绍 Wity 提出的 System 1.5 模型定位:针对软件中高频、细碎的决策场景,默认在约 0.1 秒内快速作答,遇到不确定的问题再自动切换到审慎思考。其 API 接收文本、JSON 或图像组成的 state 以及带选项的问题,返回 noul、score、choice、generate 四种原语之一的决策结果,并附每个选项的概率与整体置信度,代码无需解析自然语言即可直接行动。官方基准称典型调用耗时 109 毫秒、1000 次成本 3.29 美元,定价为每百万 token 0.042 美元且失败调用免费,同时支持多模态、128K 上下文与本地部署。文章强调应利用概率设置置信度阈值来路由,模糊决策转人工处理。

软件每天要做出成千上万个小决策:这张工单该归哪个团队?这个扫描件是收据还是发票?页面加载完成了吗?客户是在报告事故吗?这些决策不需要长篇大论,只需要一个代码能直接行动的答案,以及这个答案有多确定。Wity 把自己定位为 System 1.5 模型,恰好填补了现有两类模型之间的空白。

Wity 官方介绍

两类模型,两种困境

大型语言模型(LLM)会对每个问题都进行“思考”,哪怕问题再简单。它们用段落来回答,你的代码不得不去解析这些自然语言。对于一个明确的问题,你付出了秒级的延迟和 token 成本,换来的推理可能根本不需要,而且你仍然不知道答案的置信度有多高。

另一类是快速决策模型,它们“一眼”给出答案。简单问题瞬间返回,困难问题也瞬间返回——但可能自信地出错,因为模型没有机制让自己慢下来。

据 Wity 官方博客介绍,这两种模型都不是为软件里高频、细碎的决策场景设计的。Wity 的解法是引入“System 1.5”的概念。

什么是 System 1.5?

心理学家将思维分为两种模式:System 1 是快速、直觉的;System 2 是缓慢、审慎的。我们日常大多数决定由 System 1 完成,只有当感觉不对劲时才切换到 System 2。

Wity 的工作原理类似。对于大多数问题,它会在约 0.1 秒内完成一次快速推理并给出答案。当答案不确定或不稳定时,它会先“思考”再回答。无论哪种方式,返回的都是同一种东西:一个带类型的决策,以及每个选项对应的概率。 这就是“System 1.5”的含义——它介于直觉与审慎之间,并根据每个问题动态选择模式。

System 1 与 System 2 的划分源自心理学家丹尼尔·卡尼曼在《思考,快与慢》中提出的双系统理论。System 1 负责快速、自动、无意识的直觉判断,比如识别熟人的脸或理解母语句子;System 2 负责缓慢、费力、有意识的逻辑推理,比如计算 17×24 或权衡两份工作邀约。人类日常绝大多数决策由 System 1 完成,只有在遇到冲突、异常或低置信度情形时才调用 System 2。软件领域的类比正是把这一认知机制映射到模型推理:默认走低成本快速路径,必要时才升级到高成本推理路径,从而在延迟、成本与准确性之间取得动态平衡。

一个决策长什么样

你向 API 发送一个 state(待决策的内容:文本、JSON、图像或三者组合)以及一个或多个问题,并为每个问题明确列出选项。例如,判断一封客户邮件的意图:

curl https://api.wity.alphanimble.com/v1/systemone \
  -H "Authorization: Bearer $WITY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": "Hi, I was charged twice for my subscription this month. Please refund the duplicate.",
    "questions": {
      "intent": {
        "type": "choice",
        "instructions": "What does the customer want?",
        "criteria": {
          "billing": "A charge, refund, invoice or payment problem",
          "technical_support": "Something in the product is broken",
          "account_access": "Cannot log in or is locked out",
          "cancellation": "Wants to cancel or downgrade"
        }
      }
    },
    "reasoning": "auto"
  }'

返回结果直接以你给问题起的名字为键,包含选中的选项、所有选项的概率、整体置信度以及推理元数据。没有需要解析的散文。choice 就是可以直接行动的选项,probabilities 覆盖了你提供的每一个选项。此例中 reasoning.thought 为 false,因为问题清晰,Wity 直接给出了答案。

四种原语,每个答案都有类型

每个问题都属于以下四种形状之一,由你选择形状,Wity 负责填充:

  • noul:是/否判断。例如“投保司机是否有责任?”
  • score:在某个尺度上的位置。例如“损坏程度:外观损伤、可修复还是全损?”
  • choice:从一组选项中选一个。例如“这张工单归哪个团队?”
  • generate:按你定义的格式生成简短文本,供某个动作使用。例如“扫描件中的保单号。”

因为每个决策都携带概率,你的代码可以自行决定“多确定才算够确定”。例如,只有当意图分类的概率超过 0.85 时才自动路由,否则转人工分诊。这条置信度阈值可以按问题单独设置。

“原语”(primitive)在 API 设计中指的是不可再分、由更复杂功能组合而成的最小构建单元。这里把决策抽象成 noul、score、choice、generate 四种形状,意味着开发者无需关心底层模型如何推理,只需声明输出结构,模型负责填充。这种设计借鉴了类型系统的思想:给每个返回值标注明确类型,调用方就能在编译期或运行期做静态校验与分支处理,避免对自由文本做脆弱的字符串解析。原语的数量保持极少,是为了降低学习成本并保证接口稳定,复杂业务逻辑则通过组合多个原语调用来实现。

五个差异化特性

  1. 多模态:照片、截图和扫描页可以与文本放在同一个请求中。
  2. 128K token 上下文:一整份合同、一长串邮件线程或一叠扫描件可以作为一个 state 处理,无需分块。
  3. generate 原语:为软件真正需要文字的地方提供一个原语,基于同一个 state,紧跟决策之后生成。
  4. 自动思考:在明确的问题上即时回答,在不确定的问题上审慎思考,按问题逐个决定。
  5. 本地部署:可以在你自己的网络内运行,API 与云端一致。

速度与成本:低到可以随处调用

一个决策模型要真正被用起来,必须便宜到可以在每个事件上调用,快到可以放在请求链路里。Wity 官方博客称,他们将 Wity 与八个快速、低成本模型放在同样的 200 个真实案例上测试。Wity 的典型调用耗时 109 毫秒,而第二快的模型为 943 毫秒;1000 次运行的成本为 3.29 美元,而第二便宜的为 17.95 美元。这是 Wity 自己的基准测试,方法已随结果公布。

定价只有一个数字:每百万 token 0.042 美元,失败的调用免费。 思考过程不计费,因此“思考后回答”与直接回答的成本相同。

Wity 也坦承没有模型是完美的。建议利用每个决策的概率来决定何时行动、何时升级,并对生成的文本像对待任何输入一样进行验证。

基准测试(benchmark)是衡量模型性能的标准化实验,其可信度高度依赖测试集代表性、对照组选择与结果可复现性。文中提到的 200 个真实案例、八个快速低成本对照模型,以及“方法已随结果公布”,都是评估基准质量的关键线索。读者在解读厂商自测数据时,应注意区分延迟是端到端还是仅推理时间、成本是否包含重试与失败的调用、案例分布是否偏向简单问题。置信度阈值路由的效果同样取决于概率校准——即模型给出的 0.85 是否真的对应 85% 的准确率,这通常需要在自己的业务数据上做校准验证。

适合谁,以及接下来

Wity 面向的是需要在软件系统中嵌入大量轻量级决策的开发者——工单路由、文档分类、表单字段提取、意图识别等。它不试图取代 LLM 在开放式生成任务中的位置,而是解决那些“不需要作文,只需要一个带置信度的选项”的问题。

据官方博客,这是系列文章的第一篇,后续将逐一深入 System 1 与 System 2、决策为何不应以段落返回、模型何时该思考、每种原语的细节以及带代码的真实构建。目前新账户提供 5 美元免费额度(注册后 48 小时内使用),Playground 可在浏览器中直接运行真实请求。

#Wity#System 1.5#决策模型#AI API#结构化输出#置信度概率#快速推理
分享:

相关推荐