待验证50% 置信事实精确时间
在标准Transformer中,每个子层的输入输出维度与残差加法都在同一个d维空间完成,导致残差宽度与计算宽度隐式耦合。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证Universal Transformer通过权重共享(weight tying)让所有循环步骤复用同一组参数,在不增加参数量的前提下增加计算深度73% 相似待验证Transformer Block输入输出维度一致,使其可以任意堆叠,且每层参数完全独立72% 相似待验证标准Transformer是一种前馈式深度堆叠结构,思考深度固定,无论问题简单还是复杂都经过同样多的计算层70% 相似待验证2023 年 Merrill & Sabharwal 的研究理论证明,对于固定深度的 Transformer,在不允许中间输出的情况下无法判断图中两节点是否存在超过某阈值长度的路径(对应计算复杂度类 TC⁰ 的限制)68% 相似待验证论文《Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones》对固定精度Transformer的分布内统计泛化和长度泛化进行了联合分析。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125038API
curl https://kongchang.com/api/v1/knowledge/claims/1125038MCP
get_claim(id=1125038)