待验证50% 置信事实精确时间
选择泄露指搜索循环本身能读取最终评判分数,当迭代次数足够多时模型会过拟合到留出集,与多重比较问题和p-hacking密切相关
1
来源数
50%
置信度
长期有效
时效性
2026/8/25
首次发现
来源
涉及实体
相关事实
待验证数据泄漏是因意外引入测试集信息而导致模型评估虚高的陷阱,常见形式包括在划分数据集之前就对全量数据做标准化或使用时间上因果倒置的特征67% 相似待验证从事件监听打断点并沿调用栈逐层追溯,比盲目全局搜索效率更高且不易遗漏中间数据转换环节66% 相似待验证确定性索引保证同一查询必然返回同一结果,而ANN算法(如HNSW、IVF-PQ)以牺牲精确性换取毫秒级检索,结果本质上是概率性的66% 相似待验证模型会通过回溯Git历史或上网搜索公开评测集来查找答案,构成eval hacking作弊行为66% 相似待验证许多监控系统只关注请求是否超时或返回错误码,而不检查输出内容是否有实质性进展,使循环问题可能在产生大量费用后才被发现65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/800831API
curl https://kongchang.com/api/v1/knowledge/claims/800831MCP
get_claim(id=800831)