[控场AI]
· 6 分钟阅读· 3,265 字

Unsloth发布Qwen3.8-27B动态V3.1量化版本

Unsloth发布Qwen3.8-27B动态V3.1量化版本

Unsloth 发布 Qwen3.8-27B Dynamic v3.1 GGUF,称精度提升5-10%并反驳竞品质疑。

Unsloth 团队发布针对 Qwen3.8-27B 的 Dynamic v3.1 GGUF 量化文件,覆盖 2-bit 至 6-bit,唯独 3-bit 因 UD3 已与新版持平而未重新生成。官方称新版在 DeepSWE、Terminal Bench、LiveCodeBench 等基准上比旧版 UD3、GSQ-RCO 和 Exllama-3 提升 5-10% 准确率,并公开了 256K/128K 上下文、采样参数与多次重复运行的测试方法。文章还梳理了与 ISTA 的两处分歧:GSQ-RCO 称 UD3 在 LiveCodeBench 上不如其版本,Unsloth 复测得出相反结论;AIME25 上对方称 100% 恢复率,Unsloth 以 14 次试验均值 93%-96% 反驳。最终给出本地部署用户的升级建议与量化评测的注意事项。

Unsloth 团队在 r/LocalLLaMA 上发布了针对 Qwen3.8-27B 的新版 Dynamic v3.1 GGUF 量化文件,声称在多个关键基准上相比自家旧版 UD3 以及竞品 GSQ-RCO、Exllama-3 有 5-10% 的准确率提升。这一更新覆盖 2-bit 到 6-bit 的量化范围,并附带了详细的基准测试方法和与竞品的争论。

Unsloth Dynamic V3.1 GGUFs 发布帖

量化更新的核心内容

本次更新的重点在于算法改进带来的精度回升。Unsloth 表示所有 2-bit 到 6-bit 的量化文件都已重新生成,唯独 3-bit 版本未动——因为他们发现 UD3 在 3-bit 上的表现已经与 UD3.1 持平,没有重新量化的必要。其余位宽仍在持续优化中。

说个细节,这次更新并非简单的重新打包,而是算法层面的迭代。团队明确提到,他们正在进一步改进量化算法,以便未来能应用到 Qwen4 上,目标是让用户既能获得高效的存储占用,又不牺牲模型准确率。

对于本地部署用户来说,量化版本的精度直接决定了小显存设备上模型是否可用。5-10% 的准确率差距在 agentic 任务中往往意味着任务完成率的显著差异,因此这一更新对依赖 GGUF 格式跑本地推理的社区有实际意义。

GGUF 是 GPT-Generated Unified Format 的缩写,由 llama.cpp 项目主推的一种单文件模型格式,把权重、分词器和元数据打包在一起,便于在 CPU、Apple Silicon 及各类消费级 GPU 上做本地推理。所谓 2-bit 到 6-bit 量化,指的是把原本 16-bit 浮点的权重压缩到每参数 2 至 6 个比特,位宽越低文件越小、显存占用越少,但信息损失也越大。量化通常按层或按块分组(如 Q4_K_M 中的 K 表示 k-quant 分块方案),不同层对精度敏感度不同,混合位宽策略因此成为提升小尺寸量化质量的主要手段。Unsloth 的 UD 系列正是对敏感层保留更高精度、对冗余层激进压缩的动态方案。

基准测试的设置与方法论

Unsloth 公布了相当细致的测试条件,这一点在量化对比中很关键。所有 agentic 基准(DeepSWE、Terminal Bench)使用 256K 上下文,其余基准(LiveCodeBench 等)使用 128K。采样参数为 temperature 1.0、top_p 0.95、top_k 20、min_p 0,不设 presence 或 repetition penalty,启用 preserve_thinking 与 xhigh reasoning。

测试重复次数也做了说明:LiveCodeBench 跑了 6 次,HMMT 等基准跑了 8 到 16 次,agentic 基准同样多次运行。这种多次重复的做法,恰恰是后文与 ISTA 争论的伏笔——单次运行的随机波动足以让结论反转。

采样参数会显著影响大模型基准成绩。temperature 控制随机性,1.0 属于较高的探索性设置;top_p 与 top_k 共同做核采样截断,只从累计概率或排名靠前的候选 token 中抽样;min_p 则按相对概率设阈值,过滤掉概率过低的候选。presence penalty 和 repetition penalty 用于抑制重复输出,关闭它们可避免干扰推理链。preserve_thinking 指在多轮或工具调用场景中保留模型此前的推理内容,xhigh reasoning 则对应更高的推理预算/更长思维链。这些设置不同,同一模型在同一基准上的分数可能相差数个百分点,因此跨厂商对比时必须核对配置是否一致。

与 GSQ-RCO、Exllama-3 的对比争议

对比图表的 x 轴处理方式是一个容易被忽略的细节。Unsloth 指出,为了公平比较 GSQ-RCO 和 Exllama-v3,他们从 x 轴排除了 token embedding 层,因为 Exllama-v3 对该层使用 BF16 精度。但如果按完整下载体积和总内存占用计算,把 BF16 embedding 表算进去后,Exllama-3 在“内存/磁盘占用 vs 准确率”维度上表现更差。

关于 LiveCodeBench,双方存在直接分歧。GSQ-RCO 曾声称 Unsloth 的 UD3 量化 consistently 不如 ISTA 的版本,但 Unsloth 复测后得到相反结论:除最小尺寸外,UD3 在所有尺寸上都优于 ISTA,而 UD3.1 在 LCB 上进一步提升。他们推测 GSQ-RCO 使用了约 96K 的上下文预算——在该预算下 GSQ-RCO 略优于 UD3,但拉到 128K 后 UD3 明显更好。

token embedding 层是模型把词表 ID 映射为稠密向量的查找表,参数量往往不小(词表大小乘以隐藏维度),但在推理时每个 token 只查一行,对数值精度相对不敏感。部分推理引擎(如 Exllama)为简单起见对该层保留 BF16 不量化,这会额外占用数百 MB 到 1GB 以上的内存与磁盘。比较不同量化方案时,若只统计被量化的线性层而忽略未量化的 embedding,就会系统性低估某些方案的体积开销,从而扭曲“体积 vs 准确率”的曲线,这也是原文强调按完整下载体积和总内存占用计算的原因。

AIME25 上的“100% 恢复率”之争

分歧最激烈的地方在 AIME25 基准。ISTA 的 GSQ-RCO 报告其量化版本达到 100%、100%、100% 和 96.7% 的准确率恢复率,并据此称 Unsloth 的量化更差。Unsloth 调查后认为 ISTA 只做了 1 次试验,而他们自己跑了 14 次,平均恢复率在 93% 到 96% 之间,并非 100%。

他们进一步表示,在 14 次运行的均值上,自家旧版 UD3 反而优于 ISTA 的量化版本。这个案例很能说明量化评测的陷阱:单次跑分容易受采样随机性影响,样本量不足时结论可能完全颠倒。Unsloth 的质疑方法本身值得借鉴——要求公开试验次数和完整配置,而不是只看一个漂亮的数字。

量化评测中的“恢复率”(recovery rate)通常指量化模型相对未量化全精度模型保留的准确率百分比,100% 即表示量化后没有精度损失。由于基准题目数量有限、采样温度又高,单次运行的方差可能达到数个百分点,样本量小时很容易出现满分或明显偏低的偶然结果。要得到可靠结论,需要多次独立试验并报告均值与置信区间,同时固定上下文长度、采样参数和评测脚本版本。原文中 1 次试验与 14 次试验的对比,正是量化社区里“单次跑分不可信”这一方法学问题的典型案例。

对本地部署用户的意义

这次更新传递出几个实用信号。第一,如果你在用 Qwen3.8-27B 的 2-bit、4-bit、5-bit 或 6-bit GGUF,升级到 UD3.1 有望在编码与 agentic 任务上获得更好的准确率。第二,3-bit 用户暂时没有升级必要。第三,量化对比不能只看厂商公布的单一数字,上下文长度、试验次数、embedding 层处理方式都会改变排名。

Unsloth 同时预告正在将改进后的算法向 Qwen4 迁移,这意味着未来新模型的量化版本可能从一开始就受益于这轮方法论沉淀。对于关注本地大模型部署的开发者,追踪其文档页面的更新比只看发布帖更有价值。

完整基准与细节见 Unsloth 官方文档,量化文件已在 Hugging Face 的 unsloth/Qwen3.8-27B-GGUF 仓库更新。

#Unsloth#Qwen3.8-27B#GGUF量化#Dynamic V3.1#本地大模型部署#量化基准测试#GSQ-RCO
分享:

相关推荐