Ternary Bonsai 2 27B
PrismML发布的三元量化27B参数语言模型,采用GGUF格式,支持PQ2_0量化
时间轴 (近 90 天)
PrismML 发布了 Ternary Bonsai 2 9B,其 GGUF 文件只有 2.25 GiB,而 27B 版本为 6.70 GiB。
在笔记本基准测试中,Ternary Bonsai 2 9B 比 27B 快 2.4–3.6 倍。
现有 27B 生产环境运行在 llama.cpp 上,使用 PQ2_0 量化权重、两个并行槽位、共享 32k 上下文,温度设为 0,响应走严格的 json_schema 解码。
任务 A 中,按生产量重新加权后,9B 的 allow 比例从 27B 的 86.4% 降到 49.5%,clarify 从 13.4% 升到 50.1%,加权一致率为 61.2%。
任务 C 中,9B 在 27B 标记为 flagged 或 urgent 的 103 个案例中有 91 个保持一致,一致率为 88.3%;但只有五个 none 案例,无法可靠估计假阳性率。
全部知识事实 (5)
在笔记本基准测试中,Ternary Bonsai 2 9B 比 27B 快 2.4–3.6 倍。
50%待验证现有 27B 生产环境运行在 llama.cpp 上,使用 PQ2_0 量化权重、两个并行槽位、共享 32k 上下文,温度设为 0,响应走严格的 json_schema 解码。
50%待验证任务 A 中,按生产量重新加权后,9B 的 allow 比例从 27B 的 86.4% 降到 49.5%,clarify 从 13.4% 升到 50.1%,加权一致率为 61.2%。
50%待验证任务 C 中,9B 在 27B 标记为 flagged 或 urgent 的 103 个案例中有 91 个保持一致,一致率为 88.3%;但只有五个 none 案例,无法可靠估计假阳性率。
50%待验证PrismML 发布了 Ternary Bonsai 2 9B,其 GGUF 文件只有 2.25 GiB,而 27B 版本为 6.70 GiB。
50%