Decision Head
一种使模型单次前向传播完成分类的架构,通过对序列最后隐藏状态做Pooling后接轻量分类头,避免自回归decoding循环
时间轴 (近 90 天)
Jev、Cloudflare的Clef、Unsloth整合的Decision Head采用Pooling加精简Decision Head做单次前向传播,无需decoding循环。
在相同GPU上A/B测试,传统生成式Prompt平均推理延迟为3,679.8ms,决策模型(Decision Head)为191.4ms。
决策模型在多任务场景下,单问一题平均175.28ms,同时问两题平均191.35ms,边际耗时约16.07ms;挂载5个分类判断延迟顶多增加60-80ms。
输入无关垃圾讯息时,模型最高信心度从正常情况的99.9%暴跌至54.3%,概率被分散到各选项。
在客服工单路由场景中,模型对涉及重复扣款的工单给出billing类别99.97%信心度,以及high priority 89.31%信心度。
在NGS品质异常警报场景中,模型给出pass机率仅0.63%、人为介入复查信心度77.21%、风险等级moderate信心度84.7%。
生成式模型无法给出经过校准的类别概率,而决策模型可以输出校准后的概率分布用于阈值判断。
全部知识事实 (7)
Jev、Cloudflare的Clef、Unsloth整合的Decision Head采用Pooling加精简Decision Head做单次前向传播,无需decoding循环。
50%待验证在相同GPU上A/B测试,传统生成式Prompt平均推理延迟为3,679.8ms,决策模型(Decision Head)为191.4ms。
50%待验证决策模型在多任务场景下,单问一题平均175.28ms,同时问两题平均191.35ms,边际耗时约16.07ms;挂载5个分类判断延迟顶多增加60-80ms。
50%待验证输入无关垃圾讯息时,模型最高信心度从正常情况的99.9%暴跌至54.3%,概率被分散到各选项。
50%待验证在客服工单路由场景中,模型对涉及重复扣款的工单给出billing类别99.97%信心度,以及high priority 89.31%信心度。
50%待验证在NGS品质异常警报场景中,模型给出pass机率仅0.63%、人为介入复查信心度77.21%、风险等级moderate信心度84.7%。
50%待验证生成式模型无法给出经过校准的类别概率,而决策模型可以输出校准后的概率分布用于阈值判断。
50%