待验证50% 置信基准精确时间
在Qwen3-4B上做50%剪枝时，CACTUS将C4困惑度与稠密模型的差距缩小了45%。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证在Qwen3-4B上，将MLP层剪枝到2:4稀疏度并加上rank-64修正后，CACTUS与LoGRA结合仍能保持与稠密LoGRA投影后C4梯度的0.711余弦对齐。79% 相似待验证在Qwen3-4B上做50%剪枝时，CACTUS将WikiText-2上的压缩-稠密每样本梯度余弦相似度从0.670提升到0.755。73% 相似待验证Q4_K_M采用分组量化策略，将权重张量划分为64或256维子块并独立计算缩放因子与零点，能将困惑度损失控制在1–3%以内64% 相似已验证Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%64% 相似待验证在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率；直接用稠密模型选数据是49.54%；ALPS方法选出的数据只能到47.22%。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1022896API
curl https://kongchang.com/api/v1/knowledge/claims/1022896MCP
get_claim(id=1022896)