待验证50% 置信事实精确时间

LLM每次调用可建模为伯努利试验，N次调用通过次数服从二项分布B(N, p)，通过率95%置信区间约为p̂ ± 1.96×√(p̂(1-p̂)/N)

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

用Pydantic Evals量化LLM输出质量并纳入CI质量门禁

相关事实

待验证二项分布的方差为Np(1-p)，在p=0.5时达到最大值74% 相似待验证误差范围的计算源于中心极限定理，公式为 MOE = z × √(p(1-p)/n)，95%置信水平时z约为1.9673% 相似待验证LLM生成阶段对词汇表（通常包含32,000至128,000个token）计算Softmax概率分布，形成总和为1的概率向量72% 相似待验证若单一模型漏检率为 p，两个训练背景不同的模型同时漏检同一错误的概率近似降至 p²，20%漏检率理论上可降至 4%67% 相似待验证当 b+c < 25 时应改用精确的二项分布检验，将 b 视为参数 p=0.5 的二项分布下的观测值66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/530937

API

curl https://kongchang.com/api/v1/knowledge/claims/530937

MCP

get_claim(id=530937)