基准炒作陷阱基准测试
Hype Trap
一个专为检测AI大模型是否存在'追涨杀跌'(动量回声)行为而设计的金融选股基准测试,通过分析模型打分与既往涨幅的相关性来判断模型是否对过去涨幅过度依赖
时间轴 (近 90 天)
10月12日
一位开发者创建了名为「Hype Trap」的基准测试,用于检验AI模型是否会因股票已经大涨就单纯更看好它,哪怕涨幅对未来走势没有预测力
待验证50%
10月12日
测试从15606条原始打分记录经过清洗后留下351个合格案例,其中占位分数占全部打分行的31%被剔除
待验证50%
10月12日
9款模型中没有一款能明确跑赢「固定猜31%」的基准,所有模型的AUC置信区间都包含0.5
待验证50%
10月12日
prompt里要求模型判断新闻类型这一动作会让3款跑no_read测试的模型压低平均预测1.5到6.0点,反而让它们更紧跟涨幅,说明prompt措辞会改变模型行为
待验证50%