待验证50% 置信事实精确时间

评估运行在内存中进行，当某个用例声明没有预期时打分器报告「未测量」而非给出满分，六个合成用例无法确立准确性

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/11

首次发现

有效期至：2027/1/9

来源

delivery-harness：让规则引擎掌控赔付，AI模型只做建议

涉及实体

delivery-harnessproduct

相关事实

已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力73% 相似待验证标准化基准测试存在分布外泛化的局限，智能体可能通过记忆训练集模式得分而非真正具备推理能力71% 相似待验证如果参数量充足的模型连几十个样本都无法记住，几乎可以断定存在硬性错误，如标签错位、损失函数计算错误、梯度未正确回传等71% 相似待验证在类别不平衡场景下单纯的准确率可能具有误导性，需要结合混淆矩阵进行更细粒度评估70% 相似待验证模糊的任务描述、缺乏明确验收标准、未限定修改范围、未拆解子步骤会导致智能体陷入反复试探的循环70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/998474

API

curl https://kongchang.com/api/v1/knowledge/claims/998474

MCP

get_claim(id=998474)