[控场AI]
概念composition equivalence

组合等价性

指不同的模块序列在端到端语义上产生相同函数的现象,是组合泛化评测中导致基准分数虚高的关键因素之一。

时间轴 (近 90 天)

11月11日

组合等价性指不同模块序列在端到端语义上产生相同函数的现象。

待验证50%
11月11日

如果基准同时包含模块覆盖违规和组合等价性,会加剧捷径学习。

待验证50%
11月11日

组合泛化基准设计应避免包含组合等价性的测试集、控制模块覆盖偏移、并同时考虑两种因素。

待验证50%
11月11日

预训练模型Llama3-8B在编码基准LiveCodeBench上的代码输出预测任务中,组合泛化性能受到组合等价性的影响。

待验证50%
11月11日

组合泛化的评测并非简单的训练-测试划分问题;忽略组合等价性和模块覆盖可能导致对模型能力的错误判断。

待验证50%

全部知识事实 (5)

来源文章