Ternary Bonsai 2 9B
PrismML发布的三元量化9B参数语言模型,采用GGUF格式,体积显著小于同系列27B版本
时间轴 (近 90 天)
PrismML 发布了 Ternary Bonsai 2 9B,其 GGUF 文件只有 2.25 GiB,而 27B 版本为 6.70 GiB。
在笔记本基准测试中,Ternary Bonsai 2 9B 比 27B 快 2.4–3.6 倍。
在回放测试中,9B 将 65 条已被二次模型确认的升级请求中的 15 条降级为 clarify。
在任务 B 上,9B 有 43% 的答案返回了 'intervention needed: true' 同时搭配 'continue as normal',违反了应用层规则。
任务 A 中,按生产量重新加权后,9B 的 allow 比例从 27B 的 86.4% 降到 49.5%,clarify 从 13.4% 升到 50.1%,加权一致率为 61.2%。
任务 B 中,重新加权后约 17% 的检查会因验证失败转到托管兜底,反而增加了原本想降低的负载。
任务 C 中,9B 在 27B 标记为 flagged 或 urgent 的 103 个案例中有 91 个保持一致,一致率为 88.3%;但只有五个 none 案例,无法可靠估计假阳性率。
全部知识事实 (7)
在任务 B 上,9B 有 43% 的答案返回了 'intervention needed: true' 同时搭配 'continue as normal',违反了应用层规则。
50%待验证在笔记本基准测试中,Ternary Bonsai 2 9B 比 27B 快 2.4–3.6 倍。
50%待验证在回放测试中,9B 将 65 条已被二次模型确认的升级请求中的 15 条降级为 clarify。
50%待验证任务 C 中,9B 在 27B 标记为 flagged 或 urgent 的 103 个案例中有 91 个保持一致,一致率为 88.3%;但只有五个 none 案例,无法可靠估计假阳性率。
50%待验证任务 A 中,按生产量重新加权后,9B 的 allow 比例从 27B 的 86.4% 降到 49.5%,clarify 从 13.4% 升到 50.1%,加权一致率为 61.2%。
50%待验证任务 B 中,重新加权后约 17% 的检查会因验证失败转到托管兜底,反而增加了原本想降低的负载。
50%待验证PrismML 发布了 Ternary Bonsai 2 9B,其 GGUF 文件只有 2.25 GiB,而 27B 版本为 6.70 GiB。
50%