待验证50% 置信事实精确时间

当模型对某个训练样本的预测概率接近1时，该样本对应的交叉熵损失趋近于零，模型几乎无法获得梯度更新信号

1

来源数

50%

置信度

长期有效

时效性

2026/8/25

首次发现

来源

后训练数据困境：数量还是质量？合成数据的边际效用递减

涉及实体

交叉熵concept 信息熵concept

相关事实

已验证分类任务中的交叉熵损失本质上是对数似然函数的负值，最小化交叉熵等价于最大化模型对训练数据的对数似然77% 相似待验证AI生成假设的边际成本趋近于零，一旦模型训练完成每增加一条假设几乎不产生额外成本74% 相似待验证OpenAI的图表显示，在较低的测试时计算量下，模型对这道题的成功率接近零，只有在极长的推理链条下才偶尔成功70% 相似待验证困惑度是测试集上每个token平均负对数似然的指数，值越低代表模型对语料的预测越准确70% 相似待验证有限样本估计熵率面临系统性负偏差问题，插件估计量倾向于低估真实熵，可用Miller-Madow校正通过添加(k-1)/(2N)项补偿69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/797140

API

curl https://kongchang.com/api/v1/knowledge/claims/797140

MCP

get_claim(id=797140)