概念Executable Benchmark
可执行基准
一种基准测试范式，要求研究者提供能真实运行任务的参考执行器，由执行器产生确定性输出，模型预测与执行器输出逐项比对，确保评估可复现、可审计。
时间轴 (近 90 天)
10月16日
可执行基准要求研究者提供能真实运行任务的参考执行器，其行为完全可复现、可审计，避免了人工标注歧义问题。
待验证50%
10月16日
可执行基准范式在代码生成、SQL 生成、数学求解等领域已较成熟，但在空间推理任务上尚不多见。
待验证50%
一种基准测试范式，要求研究者提供能真实运行任务的参考执行器，由执行器产生确定性输出，模型预测与执行器输出逐项比对，确保评估可复现、可审计。
可执行基准要求研究者提供能真实运行任务的参考执行器，其行为完全可复现、可审计，避免了人工标注歧义问题。
可执行基准范式在代码生成、SQL 生成、数学求解等领域已较成熟，但在空间推理任务上尚不多见。