FinDendro
用于评估大语言模型时间自我认知(temporal self-knowledge)的金融回测基准,包含带日期的美国宏观经济、股票价格与美联储决策事实,通过行为测量检验模型知识边界与自我报告的一致性。
时间轴 (近 90 天)
FinDendro 基准收录了 1999 年至 2026 年间的 2,226 条带日期的美国事实,覆盖月度宏观经济序列、月末股票价格和美联储议息决策三类内容。
FinDendro 的每条事实被扩展为四类提示:直接问答的价值题、把候选值与“我知道/我在猜”宣言配对的 Recall 题与 Predict 题(不带显式日期)、以及带历史声明日期的 Predict 题。
实验设计了针对持续性与主导性结果的对照组,使随机猜测的正确率维持在 0.27 左右。
GPT-5 在 FinDendro 受控事实上答对了 76%,却只声称自己知道 38%。
其他多数前沿模型在 FinDendro 上同样呈现自我报告系统性地低于实际表现的偏差。
模型的知识声明可以越过实测的知识边界,最远延伸至七个季度之后。
当提示中显式声明历史日期、要求模型以过去的视角作答时,模型关于“事先知情”的声称大部分消失,但准确率并没有随之改变。
研究者给出的方向是行为测量:不依赖模型的自述,而是用受控问答实际测出模型在哪些时点、哪些类型的事实上具备可靠知识,再据此选择回测区间。
全部知识事实 (8)
FinDendro 基准收录了 1999 年至 2026 年间的 2,226 条带日期的美国事实,覆盖月度宏观经济序列、月末股票价格和美联储议息决策三类内容。
50%待验证FinDendro 的每条事实被扩展为四类提示:直接问答的价值题、把候选值与“我知道/我在猜”宣言配对的 Recall 题与 Predict 题(不带显式日期)、以及带历史声明日期的 Predict 题。
50%待验证实验设计了针对持续性与主导性结果的对照组,使随机猜测的正确率维持在 0.27 左右。
50%待验证GPT-5 在 FinDendro 受控事实上答对了 76%,却只声称自己知道 38%。
50%待验证其他多数前沿模型在 FinDendro 上同样呈现自我报告系统性地低于实际表现的偏差。
50%待验证模型的知识声明可以越过实测的知识边界,最远延伸至七个季度之后。
50%待验证当提示中显式声明历史日期、要求模型以过去的视角作答时,模型关于“事先知情”的声称大部分消失,但准确率并没有随之改变。
50%待验证研究者给出的方向是行为测量:不依赖模型的自述,而是用受控问答实际测出模型在哪些时点、哪些类型的事实上具备可靠知识,再据此选择回测区间。
50%