[控场AI]
基准THEATRON Benchmark

THEATRON

用于评估大语言模型在长程决策中人格持续性的基准,采用金融回放作为受控实验环境,通过行为金融学人格注入和多项指标(人格内稳定性、跨人格可分性、动作坍缩)来量化人格是否在连续决策中持续影响行为。

时间轴 (近 90 天)

11月10日

THEATRON 是一个用于评估LLM长程决策中人格持续性的基准。

待验证50%
11月10日

THEATRON 采用金融回放作为受控实验环境,模型被赋予固定的行为金融学人格,在共享的每日市场证据下接收与自身轨迹相关的账户状态反馈,并在跨越数月的轨迹上做出连续决策。

待验证50%
11月10日

评估指标聚焦累计收益和动作轨迹,并据此诊断人格内稳定性、跨人格可分性以及动作坍缩三个维度。

待验证50%
11月10日

这些行为偏移并不能可靠地形成连贯的人格专属策略。

待验证50%
11月10日

看似稳定的区分度可能来自刻板化的动作坍缩,而看似多样的策略又可能伴随着嘈杂的轨迹切换。

待验证50%
11月10日

研究团队将代码与基准数据公开在 GitHub(yuyan12138/theatron)。

待验证50%

全部知识事实 (6)

来源文章