GSQ-RCO
一种针对大型语言模型的混合量化策略,按张量分配不同位宽,以在压缩率和模型质量之间取得平衡
时间轴 (近 90 天)
Unsloth 声称其 UD 系列量化模型在多项基准(AIME25、HMMT Feb26、GPQA-D、MMLU-Pro、IFEval、LiveCodeBench v6、Aider pass@1)上几乎全面领先 ISTA 的 GSQ-RCO 量化版本。
UDv3.1 在 KLD 和 top-1% 指标上,于编码、agentic coding、对话等多个领域都明显好于 GSQ-RCO。
Unsloth 对 ISTA 的 GSQ-RCO GGUFs 进行复现测试,未能得到 ISTA 报告的结果,在 AIME25 上 ISTA 声称 100% 精度恢复而 Unsloth 实测仅约 91.88%。
Underdog Saluki 27B 的量化方案使用 ISTA 的 GSQ-RCO 量化方法。
方案采用GSQ-RCO混合量化策略,按张量分配位宽,IQ3S档位平均约3.5bit
RCO-GSQ是ISTA-DASLab提出的低比特量化方案,GSQ通过权重分组引入稀疏性降低精度损失,RCO对量化残差进行进一步压缩与校正
IQ2_XXS以约2.06位的平均比特率编码权重,IQ3_S约3.44位,Q4_K_M约4.83位
全部知识事实 (7)
Unsloth 声称其 UD 系列量化模型在多项基准(AIME25、HMMT Feb26、GPQA-D、MMLU-Pro、IFEval、LiveCodeBench v6、Aider pass@1)上几乎全面领先 ISTA 的 GSQ-RCO 量化版本。
50%待验证UDv3.1 在 KLD 和 top-1% 指标上,于编码、agentic coding、对话等多个领域都明显好于 GSQ-RCO。
50%待验证Unsloth 对 ISTA 的 GSQ-RCO GGUFs 进行复现测试,未能得到 ISTA 报告的结果,在 AIME25 上 ISTA 声称 100% 精度恢复而 Unsloth 实测仅约 91.88%。
50%待验证Underdog Saluki 27B 的量化方案使用 ISTA 的 GSQ-RCO 量化方法。
50%待验证方案采用GSQ-RCO混合量化策略,按张量分配位宽,IQ3S档位平均约3.5bit
50%待验证RCO-GSQ是ISTA-DASLab提出的低比特量化方案,GSQ通过权重分组引入稀疏性降低精度损失,RCO对量化残差进行进一步压缩与校正
50%待验证IQ2_XXS以约2.06位的平均比特率编码权重,IQ3_S约3.44位,Q4_K_M约4.83位
50%