基准
Regent Chess
用于评估大语言模型推理能力的序贯决策测试环境,通过设计隐藏但可追踪的状态变量,使模型信念准确性可量化比对,支持可复现性研究
时间轴 (近 90 天)
9月23日
研究采用名为Regent Chess的序贯决策环境,其中存在隐藏且可变但被精确记录的状态,使模型声称的信念可与真实状态比对打分
待验证50%
9月23日
评估采用的端点指标是'模型减去匀称对照组'的差值,正值代表比对照更差
待验证50%
用于评估大语言模型推理能力的序贯决策测试环境,通过设计隐藏但可追踪的状态变量,使模型信念准确性可量化比对,支持可复现性研究
研究采用名为Regent Chess的序贯决策环境,其中存在隐藏且可变但被精确记录的状态,使模型声称的信念可与真实状态比对打分
评估采用的端点指标是'模型减去匀称对照组'的差值,正值代表比对照更差