待验证50% 置信事实精确时间

基准测试版本更换后，新旧分数之间不再具有直接可比性，因为测试集本身发生了变化。

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

开源模型逆袭闭源旗舰？GPT-5.6遭遇开源挑战

bilibili开源项目雷达站2026/10/23

涉及实体

基准测试concept

相关事实

待验证只有替换一个版本时才可以做横向对比，两个版本同时变化就失去对比价值67% 相似待验证v0.0.94 中，重试次数耗尽后不再额外触发 agent 的整轮重试，以避免重试预算的乘法效应。65% 相似待验证测试漂移会导致分数无法比较，因此必须锁定任务集版本、提示版本，并记录模型ID而非‘最新版’。64% 相似待验证手工关键词特征（如上调评级、下调指引、回购等）在训练集和测试集之间发生符号翻转，例如“上调评级”在2025年前是+0.28，2025年后变成-0.04。61% 相似待验证最低版本约束与拒绝旧检查点形成双向防护：新版本拒绝旧格式，旧版本无法加载新格式。59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1088521

API

curl https://kongchang.com/api/v1/knowledge/claims/1088521

MCP

get_claim(id=1088521)