[控场AI]
基准

SCAN

用于评估神经网络系统性组合泛化能力的基准测试,揭示了大型语言模型在组合能力上的短板

时间轴 (近 90 天)

10月2日

研究者设计了SCAN、COGS、ARC等测试集来探测组合泛化能力

待验证50%
9月17日

SCAN、COGS等基准测试揭示了大型语言模型在系统性组合能力上的明显短板

待验证50%
9月11日

SCAN 和 LOOK 算法源自磁盘调度领域,后被借鉴到电梯控制中

待验证50%
9月11日

LOOK 算法是 SCAN 的改进版,电梯只走到当前方向上最后一个请求的楼层后折返,而非强制跑到顶层或底层,减少了无效行程

待验证50%
9月11日

SCAN、LOOK 和最近电梯优先算法均属于单目标贪心策略,在多部电梯、非均匀客流场景下容易出现电梯扎堆(bunching)问题

待验证50%
9月8日

Lake和Baroni等人在SCAN、COGS等基准测试上验证,当前深度学习模型在系统性泛化方面存在显著不足

待验证50%

全部知识事实 (7)

来源文章