[控场AI]
基准

FinDendro

用于评估大语言模型时间自我认知(temporal self-knowledge)的金融回测基准,包含带日期的美国宏观经济、股票价格与美联储决策事实,通过行为测量检验模型知识边界与自我报告的一致性。

时间轴 (近 90 天)

11月5日

FinDendro 基准收录了 1999 年至 2026 年间的 2,226 条带日期的美国事实,覆盖月度宏观经济序列、月末股票价格和美联储议息决策三类内容。

待验证50%
11月5日

FinDendro 的每条事实被扩展为四类提示:直接问答的价值题、把候选值与“我知道/我在猜”宣言配对的 Recall 题与 Predict 题(不带显式日期)、以及带历史声明日期的 Predict 题。

待验证50%
11月5日

实验设计了针对持续性与主导性结果的对照组,使随机猜测的正确率维持在 0.27 左右。

待验证50%
11月5日

GPT-5 在 FinDendro 受控事实上答对了 76%,却只声称自己知道 38%。

待验证50%
11月5日

其他多数前沿模型在 FinDendro 上同样呈现自我报告系统性地低于实际表现的偏差。

待验证50%
11月5日

模型的知识声明可以越过实测的知识边界,最远延伸至七个季度之后。

待验证50%
11月5日

当提示中显式声明历史日期、要求模型以过去的视角作答时,模型关于“事先知情”的声称大部分消失,但准确率并没有随之改变。

待验证50%
11月5日

研究者给出的方向是行为测量:不依赖模型的自述,而是用受控问答实际测出模型在哪些时点、哪些类型的事实上具备可靠知识,再据此选择回测区间。

待验证50%

全部知识事实 (8)

来源文章