Jev
一款主打高性价比的前沿AI推理模型,声称相比现有主流前沿模型推理成本降低40-400倍、速度提升20-200倍,面向企业规模化部署场景优化
核心事实
时间轴 (近 90 天)
研究者将TypeSafe的Jev(也称System One或System 1模型)替换进24篇ACL会议论文的预测器,保持每篇论文的数据划分、标签定义和评估指标不变,构建了包含46个英文测试集的TDM-Gauntlet基准。
在零样本提示下,Jev在46个测试集中的12个上直接达到了原论文预测器的水平。
Jev成功直接替代的案例主要集中在单一判断任务上,且标签是普通标签(标签名称本身就能清晰表达其含义)。
当Jev得分较低时,研究者最常将差距归因于标注惯例,即标签名称没有明确表达出的标注规则。
Krishnan 等人发现,Jev 在判断仅靠阅读提示即可完成时表现良好,但在涉及数学或逻辑谜题时表现明显下滑。
TypeSafe AI 将 Jev 称为“System One 模型”,借用丹尼尔·卡尼曼的双系统理论。
Krishnan 与同事测试发现,将 Jev 的低置信度回答转交 GPT-6 进一步处理,组合在准确率上略优于单独使用 GPT-6,成本却显著更低。
OpenAI 当时最强的 GPT-6 Astra 延迟中位数在秒级,而 Jev 处于亚秒级区间。
卡内基梅隆大学 Ramayya Krishnan 等人的预印本论文发现,Jev 在 RewardBench、JudgeBench 等基准上的延迟中位数远低于当时的 LLM 对手。
TypeSafe AI 推出的 Jev 模型声称更便宜、更快且不会产生幻觉。
还有 40 条时间轴事件
全部知识事实 (20)
决策型模型擅长分类、路由、判断这类结构化任务,而非长篇文本生成
90%已验证Jev是一类被称为'系统一模型'的前端模型,快速、便宜、结构化,专门用于决策,不生成文本而是在预设选项集合中返回概率打分
75%已验证Jev提供三种问题类型:选择(Select)、评分(Score)、空值/布尔(Null/Bool),每个返回都带有置信度值
70%已验证JEV 是 TypeSafe 推出的一款决策模型(decision model)
65%已验证Jev目前不能解释判断理由,且不支持图片输入
65%已验证Jev完成分类任务只需70到500毫秒,比传统LLM快40到200倍
65%已验证Jev 支持三类问题:Noul 问题(是非题)、Choice 问题(选择题)和 Score 问题(评分题)
65%已验证TypeSafe将Jev定位为'系统一模型',这一概念受丹尼尔·卡尼曼《思考,快与慢》中的双系统认知理论启发
65%已验证Jev 的设计把判断与执行解耦,让主模型专注在需要生成能力的任务上
65%已验证Jev 的响应时间为 70-500ms
65%已验证对于跨度极大的性能区间数字,达到区间上限往往依赖特定任务、特定基线对比和特定批处理规模等有利条件
65%已验证TypeSafe AI推出了名为Jev的产品
65%已验证TypeSafe 推出的 Jev 是一个不生成文本、只输出带校准概率的类型化决策的AI模型
65%待验证pplx-decider-v1-27b 在 11 项基准测试中取得 85.7% 的平均成绩,领先于对比对象 Jev(官方数据)
70%待验证许多模型往往需要在精度与速度/成本之间做取舍,而能三者兼顾的方案在工程落地中价值更高
70%待验证实验使用三个训练随机种子搭配固定测试集划分,并采用有限的调参预算
70%待验证本文所依据的原始素材为一条Twitter上的简短分享
70%待验证把概率化判断引入生产流程时,需结合真实任务测试、设置合适阈值,并为错误和不确定情况保留回退路径
70%部分验证TypeSafe AI 的 Jev 模型接受一个状态加一组带类型的问题,直接返回校准后的概率值,无需解析自然语言文本
65%待验证带类型的问题预先声明答案的取值空间,让模型只能输出归一化概率分布,从而排除解析错误、格式漂移和幻觉。
60%