Jeff
科技博主,运营 Craft Computing 频道,专注于 Homelab、自托管服务器、家庭网络等 DIY 硬件内容创作
核心事实
时间轴 (近 90 天)
启动器支持全部十个测试检查点,包括 Cloudflare Clef 系列、Perplexity PPLX、TokenRhythm NeoHorse、Jeff 和 Convai Innovations Laya;每个 key 选择一个锁定的快照和家族专属后端。
Bespoke Labs公布的benchmark覆盖33个公开数据集、3880个人工标注决策,Jeff 1.1B平均准确率最高76%,Nimble 9B为75.7%,Jeff 1.4B为73.3%,0.8B版为63.5%
Jeff模型是Bespoke Labs自研的决策专用模型系列,参数量从0.8B到1.4B,Nimble系列基于Qwen底座微调
Jeff 类产品将输出限制在预定义标签集中选择,因此只会自信地答错而不会凭空捏造选项(不会幻觉)
Jeff 的错误答案大多不是随机的,无论要求往上几级,它最常见的答案都是「往上三级的那个人」
在链条逐步加长的实验中,单步时三类模型全对,但第二步起两个「一眼模型」开始出错,再往后几步几乎全错,而 thinking 模型全程接近完美且仅 token 数量增长
在打乱顺序的管理层级追溯测试中,Jeff 模型几乎瞬间给出答案「Eli」且无书写过程,但正确答案是「Gus」
Jeff 每个答案附带置信度分数,在链条问题上当问题深度超出一眼能及时,置信度随准确率一起下降
当直接问 Jeff「这封邮件是钓鱼邮件吗」时,在困难数据集上准确率接近抛硬币,但把问题拆成针对具体特征的小问题再用代码组合后准确率显著跃升
Jeff 是 Anthropic 发布的一款快速决策模型,定位于 System 1 式的直觉判断
还有 23 条时间轴事件
全部知识事实 (20)
前台轻量模型的推理延迟通常需要控制在200毫秒以内,以匹配人类对实时的感知阈值
65%待验证启动器支持全部十个测试检查点,包括 Cloudflare Clef 系列、Perplexity PPLX、TokenRhythm NeoHorse、Jeff 和 Convai Innovations Laya;每个 key 选择一个锁定的快照和家族专属后端。
50%待验证Jeff模型是Bespoke Labs自研的决策专用模型系列,参数量从0.8B到1.4B,Nimble系列基于Qwen底座微调
50%待验证Bespoke Labs公布的benchmark覆盖33个公开数据集、3880个人工标注决策,Jeff 1.1B平均准确率最高76%,Nimble 9B为75.7%,Jeff 1.4B为73.3%,0.8B版为63.5%
50%待验证Jeff 类产品将输出限制在预定义标签集中选择,因此只会自信地答错而不会凭空捏造选项(不会幻觉)
50%待验证当直接问 Jeff「这封邮件是钓鱼邮件吗」时,在困难数据集上准确率接近抛硬币,但把问题拆成针对具体特征的小问题再用代码组合后准确率显著跃升
50%待验证Jeff 每个答案附带置信度分数,在链条问题上当问题深度超出一眼能及时,置信度随准确率一起下降
50%待验证在打乱顺序的管理层级追溯测试中,Jeff 模型几乎瞬间给出答案「Eli」且无书写过程,但正确答案是「Gus」
50%待验证在链条逐步加长的实验中,单步时三类模型全对,但第二步起两个「一眼模型」开始出错,再往后几步几乎全错,而 thinking 模型全程接近完美且仅 token 数量增长
50%待验证Jeff 的错误答案大多不是随机的,无论要求往上几级,它最常见的答案都是「往上三级的那个人」
50%待验证Jeff 是 Anthropic 发布的一款快速决策模型,定位于 System 1 式的直觉判断
50%待验证Jeff项目将Qwen3.5和Gemma 4两款基础模型分别蒸馏、微调成0.8B和2B参数的决策模型
50%待验证0.8B和2B模型共享同一套Jev请求格式,可以按需切换而不必重构调用逻辑
50%待验证项目明确指出了基准测试在哪里不再匹配真实工作
50%待验证项目方公开了对应的运行命令,使其他人能够复现延迟测试
50%待验证Jeff 声明兼容 Jev 生态,意在降低开发者采用门槛并融入现有工作流
50%待验证Jeff 是一套兼容 Jev 的 0.8B 参数决策模型,可在家用硬件环境下完成训练,推理延迟低至约 30 毫秒
50%待验证根据OpenRouter放出的评测数据,Jeff模型做决策仅需154毫秒,而第二名的模型需要860毫秒
50%待验证评测者Jeff认为对游戏PC而言64GB内存用不到,即便4K三屏玩模拟飞行也碰不到
50%待验证Jeff建议GMKTec将Neo X1 Pro以准系统(barebone)形态销售,预装主板CPU组合、水冷、电源,让用户自行采购内存和存储
50%