待验证50% 置信事实精确时间
标准Transformer没有循环结构,前向计算是逐层堆叠的有限深度网络,不存在跨时间步的隐状态传递。
1
来源数
50%
置信度
长期有效
时效性
2026/11/13
首次发现
来源
涉及实体
相关事实
待验证标准Transformer是一种前馈式深度堆叠结构,思考深度固定,无论问题简单还是复杂都经过同样多的计算层70% 相似待验证2023 年 Merrill & Sabharwal 的研究理论证明,对于固定深度的 Transformer,在不允许中间输出的情况下无法判断图中两节点是否存在超过某阈值长度的路径(对应计算复杂度类 TC⁰ 的限制)64% 相似待验证RELAGRAM 的边令牌编码不绑定节点总数,递归 Transformer 的参数量与实例规模无关,使其能实现跨规模迁移。62% 相似待验证Universal Transformer通过权重共享(weight tying)让所有循环步骤复用同一组参数,在不增加参数量的前提下增加计算深度60% 相似待验证在标准Transformer中,每个子层的输入输出维度与残差加法都在同一个d维空间完成,导致残差宽度与计算宽度隐式耦合。60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1166035API
curl https://kongchang.com/api/v1/knowledge/claims/1166035MCP
get_claim(id=1166035)