待验证50% 置信基准精确时间

UltraBERT蒸馏后380M模型在GLUE上从90.2提升到90.8，但在高掩码率下反而损害了检索表现。

1

来源数

50%

置信度

长期有效

时效性

2026/10/16

首次发现

来源

蒸馏的隐性代价：教师行为泄漏与奖励模型超越

rss2026/10/16

涉及实体

UltraBERTmodel GLUEconcept

相关事实

待验证35B模型在受限上下文下通过率为90/90，4B模型为72/9063% 相似待验证研究表明，在某些模型中ReLU²可以将稀疏率提升至90%以上61% 相似待验证将模型规模放大约十万倍，基础LLM在ARC上的成绩只从0%提升到约10%58% 相似待验证第290轮时损失出现反弹（+0.002），表明模型可能已接近当前配置的性能上限58% 相似待验证输出窗口的物理上限提高不代表有效输出长度同步提高，一个能生成100万token但在20万token就开始胡言乱语的模型实用价值不如稳定输出30万token的模型57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1044468

API

curl https://kongchang.com/api/v1/knowledge/claims/1044468

MCP

get_claim(id=1044468)