概念one-loop tax
单循环税
循环Transformer中因训练与推理时循环次数不匹配导致的系统性性能折损现象,根源在于参数共享架构下中间表示未充分收敛。
时间轴 (近 90 天)
11月13日
“单循环税”现象在小型循环Transformer设置下被复现,即单循环版本相对于多循环版本存在系统性性能折损。
待验证50%
11月13日
单循环税可能源于循环架构在训练与推理时计算深度不匹配所带来的表示偏差。
待验证50%
11月13日
在报告循环架构的性能时,需要同时给出单循环与多循环的对比结果,以避免单循环税对结论的干扰。
待验证50%