待验证50% 置信基准精确时间

在1024步序列上，PLUG和ILRM的初始token平均梯度稳定保持在约10⁻⁴量级，而标准GRU梯度低至约10⁻¹⁴⁵出现数值下溢

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/11

首次发现

有效期至：2026/12/10

来源

PLUG与ILRM：用调和级数替代注意力机制解决RNN长序列建模难题

涉及实体

PLUGconcept ILRMconcept GRUconcept

相关事实

待验证INT4量化将原本由65536个不同值（FP16）表示的权重压缩到仅16个离散级别58% 相似待验证开发者最终选择KL散度最低（0.028）的变体，GSM8K下降1.83%，MMLU保持不变，HarmBench合规率从30.8%提升至100%56% 相似待验证W4A4量化将权重和激活值均压缩至4位整数，理论上相比FP16可将显存占用降低至约1/456% 相似已验证Sigmoid函数的导数最大值仅为0.25，导致深层网络中的梯度消失问题56% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/902251

API

curl https://kongchang.com/api/v1/knowledge/claims/902251

MCP

get_claim(id=902251)