概念length generalization
长度泛化
模型在训练时只见过较短序列、测试时需处理更长序列的泛化能力，测试分布相对训练分布发生系统性偏移（序列变长），对Transformer的位置编码和注意力掩码等机制构成挑战。
时间轴 (近 90 天)
11月2日
该论文提出了一种“位置可实现性理论”，用于解释长度泛化对位置编码的依赖，并推导出被广泛记录的经验模式。
待验证50%
10月27日
长度泛化是指模型在训练时只见过较短序列，测试时却要处理更长序列的能力。
待验证50%
模型在训练时只见过较短序列、测试时需处理更长序列的泛化能力，测试分布相对训练分布发生系统性偏移（序列变长），对Transformer的位置编码和注意力掩码等机制构成挑战。
该论文提出了一种“位置可实现性理论”，用于解释长度泛化对位置编码的依赖，并推导出被广泛记录的经验模式。
长度泛化是指模型在训练时只见过较短序列，测试时却要处理更长序列的能力。