待验证50% 置信事实精确时间
Cohen's kappa 的计算公式为 κ = (p_o - p_e) / (1 - p_e)，其中 p_o 是观察到的致率，p_e 是两个评分者按照各自标签频率随机标注时的预期一致率。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
将LLM评判者校准至κ 0.80：视觉检查实战方法
rss2026/10/15
涉及实体
相关事实
待验证LLM每次调用可建模为伯努利试验，N次调用通过次数服从二项分布B(N, p)，通过率95%置信区间约为p̂ ± 1.96×√(p̂(1-p̂)/N)69% 相似待验证在真实映射为均匀随机的假设下，论文证明了错误率下界为 E ≥ (M/N)δ*(B/M) + (1-M/N)(1-1/K)67% 相似待验证二项分布的方差为Np(1-p)，在p=0.5时达到最大值65% 相似待验证McNemar 检验统计量为 χ² = (|b - c| - 1)² / (b + c)，当样本量足够时近似服从自由度为1的卡方分布，其中-1为Yates连续性校正项65% 相似待验证在AI评测中，对N次可交换运行做严格多数投票后仍出错的概率等于二项分布尾概率 E(N, p) = P(Binomial(N, p) >= ceil(N/2))，其中p为单次运行出错的概率。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1035666API
curl https://kongchang.com/api/v1/knowledge/claims/1035666MCP
get_claim(id=1035666)