待验证50% 置信基准精确时间

在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率；直接用稠密模型选数据是49.54%；ALPS方法选出的数据只能到47.22%。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/14

首次发现

有效期至：2027/1/12

来源

曲率感知剪枝CACTUS：同时保留影响函数的新方法

涉及实体

CACTUSconcept Llama-3.2-3Bmodel BIG-Bench Hardconcept ALPSconcept

相关事实

待验证在Qwen3-4B上做50%剪枝时，CACTUS将C4困惑度与稠密模型的差距缩小了45%。64% 相似待验证本地运行的Gemma 26B在453次评分预测中准确率仅为49.2%，其配对的永远说涨基准准确率为53.4%64% 相似待验证以 GPT-3 的注意力层为例，原始权重矩阵约为 12288×12288（约1.5亿参数），秩 r=8 的 LoRA 分解只需训练约20万参数，压缩比超过700倍63% 相似待验证TEMPEST比最优经典模型高出17.9个百分点，比最强三元组损失基线高出58.4个百分点63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1022899

API

curl https://kongchang.com/api/v1/knowledge/claims/1022899

MCP

get_claim(id=1022899)