概念composition equivalence
组合等价性
指不同的模块序列在端到端语义上产生相同函数的现象,是组合泛化评测中导致基准分数虚高的关键因素之一。
时间轴 (近 90 天)
11月11日
组合等价性指不同模块序列在端到端语义上产生相同函数的现象。
待验证50%
11月11日
如果基准同时包含模块覆盖违规和组合等价性,会加剧捷径学习。
待验证50%
11月11日
组合泛化基准设计应避免包含组合等价性的测试集、控制模块覆盖偏移、并同时考虑两种因素。
待验证50%
11月11日
预训练模型Llama3-8B在编码基准LiveCodeBench上的代码输出预测任务中,组合泛化性能受到组合等价性的影响。
待验证50%
11月11日
组合泛化的评测并非简单的训练-测试划分问题;忽略组合等价性和模块覆盖可能导致对模型能力的错误判断。
待验证50%