待验证50% 置信决策规则精确时间

运行10次测试置信区间宽度约±31%，100次收窄至±10%，400次进一步收窄至±5%，推荐关键测试用例至少运行20-50次

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

用Pydantic Evals量化LLM输出质量并纳入CI质量门禁

相关事实

待验证测试LLM引用行为时应对同一提示至少运行20—50次，理想情况下扩大至100次以上73% 相似待验证该测试样本规模相对有限（5个模型、13个代码库），结论有待更大规模验证73% 相似待验证实验采用8:2比例划分数据，20%作为内部测试集，训练集内部使用5折交叉验证，并移除重复记录以避免数据泄漏72% 相似待验证测试的准确率数据在n=100样本量下误差约为±8-10个百分点（基于95%置信水平的二项分布置信区间）72% 相似待验证检测灵敏度越高（阈值越低如10 mIU/ml）越容易在早期显示弱阳，但也更易造成'一直弱阳'的困惑；普通25阈值试纸对多数人峰值判定更明确71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/530938

API

curl https://kongchang.com/api/v1/knowledge/claims/530938

MCP

get_claim(id=530938)