待验证50% 置信事实精确时间

用ReLU替换Softmax的尝试（ReLUformer）虽然能训练，但需要额外的归一化技巧才能稳定

1

来源数

50%

置信度

长期有效

时效性

2026/10/10

首次发现

来源

用量子玻恩规则替代Softmax注意力：一次大胆的架构实验

涉及实体

ReLUformerconcept ReLUconcept Softmaxconcept

相关事实

待验证CUE在不同的模拟器大模型之间切换时无需重新训练也能保持效果72% 相似待验证训练完成后LoRA权重可以合并回原模型，或以适配器形式单独保存供灵活切换72% 相似待验证RefMods 提供介于「每次手动加载」和「专门训练 LoRA」之间的中间方案，兼具免训练灵活性和加载速度、数量优势71% 相似待验证权重归一化技术将权重向量分解为方向与模长两个独立分量分别优化，可显著改善训练稳定性65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/995035

API

curl https://kongchang.com/api/v1/knowledge/claims/995035

MCP

get_claim(id=995035)