Laya AI
非自回归决策专用模型,基于BERT/M-BERT骨干网络对候选答案进行判别式打分,单次前向传播即可输出带校准概率的决策,延迟约35毫秒,模型体积约850MB
时间轴 (近 90 天)
Laya AI 是一种非自回归决策模型,单次前向传播输出带校准概率的答案,耗时约35毫秒。
Laya AI 的模型文件(saved tensors)约850MB。
Laya AI 可在 CPU 和 GPU 上运行,且在20核 CPU 上运行仅占用约30%的 CPU。
Laya AI 使用 BERT/M-BERT 骨干网络对候选答案进行判别式打分,而非逐 token 生成文本。
Laya 的安装方式为通过 pip 安装库,首次运行会自动从 Hugging Face 下载模型。
Laya 支持离散选择题任务,调用方在运行时动态提供候选标签,模型对每个候选独立打分并归一化为概率分布。
在客服工单路由示例中,给定重复收费投诉文本,Laya 输出应路由至 billing 部门,并给出概率和语言为英语。
Laya 的基础检查点可在自定义领域数据上微调,微调数据只需“状态—问题—正确选项”三元组,无需生成式目标文本。
Laya 擅长封闭式问题(给定状态和选项快速打分),不适合开放式生成、多轮对话或复杂推理。
Laya 可与传统 LLM 互补:LLM 负责理解与生成,Laya 负责低延迟的确定性决策。
全部知识事实 (9)
Laya AI 是一种非自回归决策模型,单次前向传播输出带校准概率的答案,耗时约35毫秒。
50%待验证Laya AI 的模型文件(saved tensors)约850MB。
50%待验证Laya AI 可在 CPU 和 GPU 上运行,且在20核 CPU 上运行仅占用约30%的 CPU。
50%待验证Laya AI 使用 BERT/M-BERT 骨干网络对候选答案进行判别式打分,而非逐 token 生成文本。
50%待验证Laya 的安装方式为通过 pip 安装库,首次运行会自动从 Hugging Face 下载模型。
50%待验证Laya 支持离散选择题任务,调用方在运行时动态提供候选标签,模型对每个候选独立打分并归一化为概率分布。
50%待验证Laya 的基础检查点可在自定义领域数据上微调,微调数据只需“状态—问题—正确选项”三元组,无需生成式目标文本。
50%待验证Laya 擅长封闭式问题(给定状态和选项快速打分),不适合开放式生成、多轮对话或复杂推理。
50%待验证Laya 可与传统 LLM 互补:LLM 负责理解与生成,Laya 负责低延迟的确定性决策。
50%