[控场AI]
概念GSQ-RCO混合量化

GSQ-RCO

一种针对大型语言模型的混合量化策略,按张量分配不同位宽,以在压缩率和模型质量之间取得平衡

时间轴 (近 90 天)

10月30日

Unsloth 声称其 UD 系列量化模型在多项基准(AIME25、HMMT Feb26、GPQA-D、MMLU-Pro、IFEval、LiveCodeBench v6、Aider pass@1)上几乎全面领先 ISTA 的 GSQ-RCO 量化版本。

待验证50%
10月30日

UDv3.1 在 KLD 和 top-1% 指标上,于编码、agentic coding、对话等多个领域都明显好于 GSQ-RCO。

待验证50%
10月30日

Unsloth 对 ISTA 的 GSQ-RCO GGUFs 进行复现测试,未能得到 ISTA 报告的结果,在 AIME25 上 ISTA 声称 100% 精度恢复而 Unsloth 实测仅约 91.88%。

待验证50%
10月25日

Underdog Saluki 27B 的量化方案使用 ISTA 的 GSQ-RCO 量化方法。

待验证50%
10月5日

方案采用GSQ-RCO混合量化策略,按张量分配位宽,IQ3S档位平均约3.5bit

待验证50%
9月24日

RCO-GSQ是ISTA-DASLab提出的低比特量化方案,GSQ通过权重分组引入稀疏性降低精度损失,RCO对量化残差进行进一步压缩与校正

待验证50%
8月24日

IQ2_XXS以约2.06位的平均比特率编码权重,IQ3_S约3.44位,Q4_K_M约4.83位

待验证50%

全部知识事实 (7)

来源文章