待验证50% 置信权衡取舍精确时间

反复应用同一组权重容易导致梯度在多次迭代中放大或消失，类似于早期RNN的梯度问题

1

来源数

50%

置信度

长期有效

时效性

2026/9/13

首次发现

来源

循环化Transformer：让模型学会"反复思考"的新架构探索

涉及实体

相关事实

待验证自注意力机制解决了RNN架构在处理长序列时的梯度消失问题，并天然支持大规模并行计算74% 相似待验证梯度累积通过在多个小批次上累积梯度后再执行一次参数更新，效果等同于使用大批次训练72% 相似待验证RNN存在梯度消失/爆炸问题，梯度跨越大量时间步传递时会指数级衰减或膨胀，导致难以学习远距离依赖72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/918319

API

curl https://kongchang.com/api/v1/knowledge/claims/918319

MCP

get_claim(id=918319)