Baseten发布joey-1：2B决策模型按概率输出，百万token仅0.01美元

一个不写文字的模型，为什么值得关注

Baseten 发布了 joey-1，一个参数规模 2B 的开放权重模型。它的特别之处在于：输出结果由校准后的概率构成，而非文本。据 MarkTechPost 报道，该模型 P50 延迟为 20 毫秒，每百万输入 token 的推理成本为 0.01 美元。

这三个数字放在一起，指向同一个方向：把大模型的“判断力”做成廉价、快速、可直接接入业务系统的基础设施，而不只是一个对话接口。

输出概率而非文本，意味着什么

主流语言模型的基础行为是续写 token。哪怕只问一个是非题，它也要生成文本再让你自行解析。joey-1 跳过了这一步，直接给出校准过的概率值。

对决策系统来说，这一差异比参数规模更重要。风控、排序、内容分级、路由分发这类场景，真正需要的是“这件事有多大概率属于某个类别”，以及这个概率是否可信。校准意味着模型输出的 0.8 应当大致对应 80% 的正例比例，业务方才能据此设定阈值、计算期望损失。

据 MarkTechPost 报道，joey-1 以开放权重形式发布，这给需要私有化部署或对模型行为做深度定制的团队留出了空间。

概率校准（probability calibration）是分类模型的一项独立于准确率的评价维度。一个模型可以把正负例排得很准（区分度好），但它输出的 0.8 未必真的对应 80% 的正例比例——这取决于训练目标与后处理。常见做法包括在留出集上拟合 Platt 缩放（逻辑回归校准）或等渗回归（isotonic regression），也有用温度缩放处理神经网络过度自信问题的做法。校准是否成立通常用可靠性图（reliability diagram）、期望校准误差（ECE）或 Brier 分数来衡量。对业务方而言，只有校准良好的概率才能直接代入期望损失公式做阈值决策；未校准的分数只适合排序，不适合定价或风控额度计算。

开放权重（open weights）指模型参数可下载、可自行部署和微调，但训练数据、训练代码或完整训练流程未必公开，因此与“开源模型”并不严格等同。对需要数据不出域、或要在自有分布上重新校准与微调的团队，开放权重是前提条件；但它也意味着没有托管方的 SLA 与持续维护，部署、推理优化和版本管理需自行承担。

2B 参数与 20 毫秒延迟的组合逻辑

2B 是一个明确取舍后的规模。它无法与通用大模型比拼知识广度与推理深度，但换来了延迟与成本上的数量级优势。

20 毫秒的 P50 延迟意味着它能够嵌入在线请求链路，而不必作为异步任务存在。0.01 美元每百万输入 token 的定价，则让“每次请求都调用模型”在经济上变得可行。许多团队此前在决策环节使用模型时，主要顾虑正是延迟和成本，而非效果本身。

这一组合的合理定位，是充当更大系统中的判断层：上游大模型负责理解与生成，joey-1 负责低成本、高频次的分类与打分。

P50 延迟指第 50 百分位（中位数）的端到端响应时间，即一半请求快于该值。它适合描述典型体验，但会掩盖长尾：在线决策链路真正敏感的是 P95 或 P99，因为超时和尾延迟往往决定系统是否需要降级或设置兜底规则。20 毫秒的 P50 若伴随较重的长尾，仍需配合超时截断与默认策略使用。此外，延迟与吞吐、批量大小、硬件和序列长度强相关，跨环境的数字不宜直接横比。

每百万 token 成本是当前衡量推理经济性的通用口径，便于与小模型和大模型横向比较。但要注意它只覆盖输入侧计价，输出、缓存命中、冷启动与运维成本需另行核算；对高频短输入场景，单次调用成本的实际主导项可能是固定开销而非 token 数。

适用场景与边界

这类模型的优势场景较为明确：需要在线、低延迟给出概率判断，且判断结果会直接驱动业务动作的环节。此类任务的共同点是输入相对结构化、输出空间有限、对可解释的置信度有要求。

边界同样清晰。它不适合承担开放式生成、多步推理或需要广泛世界知识的任务。把它当作通用模型的替代品，是典型的使用错位。

另外，原文未披露训练数据构成、校准方法与评测基准，因此其概率校准在真实业务分布上是否稳定，仍需使用方用自有数据验证。开放权重的好处正在于此：验证成本可控。

小结

joey-1 的价值在于把“决策”从大模型中剥离出来，单独做成一个廉价、快速、概率可读的组件。对于正在为在线系统寻找判断层的团队，这类模型提供了一个新的选项，前提是清楚它擅长什么、不擅长什么。