#正交约束

正交约束对LLM预训练真的有帮助吗？大规模实证研究给出否定答案

一项覆盖360M到3.1B参数、近200B token的系统性实证研究发现，正交约束在LLM预训练中除了球面优化外并无额外增益。研究者重新审视五个先前方法，发现其报告增益源于数值精度、训练时长等因素而非正交性本身。