THX-01：322M参数开源决策模型，10毫秒完成单次推理

一个仅有3.22亿参数的小模型，正在挑战人们对AI推理方式的固有认知。HAL-X AI近日开源了名为THX-01的非自回归决策模型，并公布了一个阶段性数据：自上线以来，其免费API已处理超过7000万个token。这背后传递的信号很明确——并非所有AI任务都需要动辄数十亿参数的大语言模型来逐字生成答案。

THX-01 开源决策模型

为什么需要一个专门的决策模型

大多数AI应用其实并不需要生成长篇回答。很多时候，开发者需要的只是一个可靠的判断结果：这张工单应该分给哪个部门？这条消息是不是垃圾信息？文档里出现的数字是多少？哪段文本支撑了这个答案？以及——模型对自己的判断到底有多确信？

传统大模型的做法是逐个token生成答案，这不仅慢，而且对于分类、判断这类结构化任务而言是一种资源浪费。THX-01的思路截然不同：它将一份文档或消息与带类型的问题一起输入，在单次前向传播中返回带有校准概率的结构化答案。

按官方GPU基准测试，这样一次推理大约只需要10毫秒。对于需要高并发、低延迟决策的生产环境来说，这个数字颇具吸引力。

**非自回归（Non-Autoregressive）**架构是理解THX-01高速推理的关键。传统自回归语言模型在生成时必须逐个token串行输出——每个token的生成都依赖所有已生成的token，这使得延迟与输出长度成正比。非自回归模型则打破了这一串行依赖，可以在单次前向传播中并行输出完整结果。代价是它通常不擅长生成长篇连贯文本，但对于只需返回一个类别标签、一个概率值或一段摘录的决策任务，这一取舍完全合理。THX-01正是将架构选择与任务类型做了精准匹配：放弃通用生成能力，换取在结构化决策上的极致速度。

对比TypeSafe Jev的基准成绩

官方在一个包含2843条多语言客服工单的内部基准上，将THX-01与TypeSafe Jev 1.13进行了对比，结果如下：

指标	THX-01	Jev 1.13
准确率	98.4%	97.4%
校准误差（ECE）	0.003	0.007
实测延迟	~10 ms	331 ms
开源权重	是	否

在这项分类基准上，THX-01的准确率和校准误差均优于Jev，实测延迟低了约33倍。不过官方也坦诚说明：两者的延迟数据来自不同的服务环境，并非在同一硬件条件下的严格对照，因此这个倍数不宜被过度解读。

抛开延迟对比的严谨性问题，这组数据传递的核心观点依然成立——小型专用决策模型，不需要堆叠数十亿参数，也能在特定任务上提供有竞争力的表现。 这与当前行业内对小模型、垂直模型回归的讨论方向一致。

RLCD：让模型知道自己“有多确信”

THX-01最值得关注的技术细节，是它采用了一种名为**RLCD（Reinforcement Learning for Calibrated Decisions，面向校准决策的强化学习）**的训练方法。

与只优化预测正确与否的常规做法不同，RLCD还会激励模型输出的概率估计真实反映其自身的不确定性。换句话说，模型不仅给答案，还给出一个靠谱的置信度。

这一点对AI Agent和生产应用尤为重要。当一个自动化系统拿到预测结果时，它需要判断：是直接采信、还是请求更多信息、还是升级交给更强的模型处理？只有当置信度被良好校准时，这类决策链路才能真正可靠。极低的校准误差（ECE 0.003）正是这一设计目标的直接体现。

支持的六种决策类型

THX-01覆盖了相当完整的结构化决策场景：

Choice（选择）：在动态提供的选项中分类
Yes/No（是非）：带置信度的二元判断
Score（评分）：有序评估
Number（数值）：从文档中提取数值
Excerpt（摘录）：提取精确文本段落
Citations（引用）：识别支撑性证据

模型支持18种后训练语言，包括英语、俄语、土耳其语和阿塞拜疆语等。得益于仅322M的参数量，配合兼容的推理运行时，它甚至可以在智能手机上本地运行。

免费API与完全开源

HAL-X AI在落地策略上走的是开发者友好路线。THX-01的API提供了每分钟200次决策的免费额度，开发者无需担心基础设施成本即可上手试验。

一个典型的调用非常简洁，只需传入状态文本和带类型的问题。例如判断“我的卡因为一个订单被扣了两次款”应该交给哪个团队，模型即可返回billing/technical/sales的分类结果及其概率。

整个项目基于Apache 2.0协议开源，模型权重、源代码和训练资源均已在Hugging Face上公开。Python包也可直接安装：

pip install thx01

模型地址与交互式Demo均托管在Hugging Face，开发者可以快速验证其在自己场景下的表现。

小而专的决策模型值得关注吗

HAL-X AI给自己定下的使命是：构建更多“知道如何做决策、知道自己该有多确信、以及知道自己何时不知道”的AI模型。这其实点出了当前生成式AI的一个软肋——大模型擅长生成流畅文本，却往往对自己的不确定性缺乏可信表达。

从公开信息看，THX-01的定位清晰：它不是又一个通用大模型，而是面向分类、抽取、判断这类高频决策任务的专用引擎。在Agent架构日益复杂、对延迟和成本愈发敏感的当下，这类“小而专”的组件有其实际价值。

当然，7000万token的处理量和内部基准的漂亮数据，更多是厂商的自我陈述，延迟对比也存在环境不一致的问题。真正的检验，还需要社区在真实多样化的数据集上进行独立复现。但无论如何，一个完全开源、免费可试、且能跑在手机上的决策模型，为开发者提供了一个低门槛的实验选项。

在AI Agent系统架构中，THX-01所代表的"路由层"或"判断层"组件正在获得越来越多的关注。复杂的Agent流水线通常由多个模型协作完成：轻量级决策模型负责快速分类、置信度判断和任务分发，只有在置信度不足时才将请求升级到更昂贵的大模型。这种**级联推理（Cascaded Inference）**架构可以在保证质量的前提下大幅降低整体推理成本和延迟。THX-01明确将自身定位于这一场景——其"知道自己何时不知道"的设计理念，正是为了让Agent系统能够基于可信的置信度信号做出合理的路由决策，而非盲目依赖单一大模型处理所有请求。

背景补充

**校准误差（ECE，Expected Calibration Error）**是衡量模型置信度与真实准确率之间一致性的标准指标。理想情况下，当模型说"我有80%的把握"时，这类预测中确实应该有约80%是正确的——这就是"良好校准"。ECE越低，说明模型的概率输出越可信。常规训练（如交叉熵损失）只惩罚预测错误，不约束概率的校准质量，导致很多模型存在"过度自信"或"过度保守"的问题。RLCD通过强化学习的奖励设计，将校准质量纳入优化目标，使得THX-01在给出分类结果的同时，输出的概率数值本身具有实际参考价值，而非仅仅是一个附带的软max输出。