待验证50% 置信事实精确时间
熵优先排序利用模型对样本预测的不确定性(熵)来筛选信息量更大的样本,优先训练模型当前拿不准的案例。
1
来源数
50%
置信度
长期有效
时效性
2026/11/16
首次发现
来源
涉及实体
相关事实
待验证模型记忆化程度与数据重复次数高度相关,参数量远超训练数据信息熵时模型倾向于记忆而非泛化75% 相似已验证预训练的目标函数通常是因果语言建模中的交叉熵损失,即给定前文所有token最大化正确预测下一个token的概率75% 相似待验证困惑度概念源自信息论中的熵(Shannon Entropy),本质上是语言模型每步预测的平均分支因子73% 相似待验证改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准,以及训练模型主动输出拒绝回答的能力73% 相似部分验证信息论中熵H(p)衡量概率分布p的不确定性,等价于对来自该分布的信息进行最优编码所需的平均比特数72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1174208API
curl https://kongchang.com/api/v1/knowledge/claims/1174208MCP
get_claim(id=1174208)