待验证50% 置信基准精确时间
在Qwen3-4B上做50%剪枝时,CACTUS将WikiText-2上的压缩-稠密每样本梯度余弦相似度从0.670提升到0.755。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至:2027/1/12
来源
涉及实体
相关事实
待验证在Qwen3-4B上,将MLP层剪枝到2:4稀疏度并加上rank-64修正后,CACTUS与LoGRA结合仍能保持与稠密LoGRA投影后C4梯度的0.711余弦对齐。80% 相似待验证在Qwen3-4B上做50%剪枝时,CACTUS将C4困惑度与稠密模型的差距缩小了45%。73% 相似待验证使用Qwen3-27B模型在wikitext-2数据集上以fp32参考logits为基准进行KL散度测量,中位数KLD从0.0023降至0.000001,精度提升约2300倍63% 相似待验证Qwen3覆盖从0.6B到235B的完整参数矩阵60% 相似已验证测评者认为Qwen3.8 27B在编码能力上几乎所有方面都比上一代Qwen3.7更强60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1022897API
curl https://kongchang.com/api/v1/knowledge/claims/1022897MCP
get_claim(id=1022897)