待验证50% 置信事实精确时间
论文《Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones》对固定精度Transformer的分布内统计泛化和长度泛化进行了联合分析。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证标准Transformer是一种前馈式深度堆叠结构,思考深度固定,无论问题简单还是复杂都经过同样多的计算层71% 相似待验证2023 年 Merrill & Sabharwal 的研究理论证明,对于固定深度的 Transformer,在不允许中间输出的情况下无法判断图中两节点是否存在超过某阈值长度的路径(对应计算复杂度类 TC⁰ 的限制)65% 相似待验证Universal Transformer通过权重共享(weight tying)让所有循环步骤复用同一组参数,在不增加参数量的前提下增加计算深度65% 相似待验证Transformer Block输入输出维度一致,使其可以任意堆叠,且每层参数完全独立61% 相似待验证弹性 Transformer 将压缩前置到模型本身,推理时根据当前负载和硬件状况动态选择稀疏度,无需维护多个尺寸版本或单独校准。60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1103030API
curl https://kongchang.com/api/v1/knowledge/claims/1103030MCP
get_claim(id=1103030)