待验证50% 置信权衡取舍精确时间

长链式推理（Chain-of-Thought）训练中熵坍缩尤为突出，因为奖励信号只在推理链末端给出，中间步骤的梯度信号极为稀疏

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

DAPO：字节跳动与清华开源的大模型强化学习系统

涉及实体

Chain-of-Thoughtconcept 熵坍缩concept

相关事实

待验证LLM的幻觉问题源于其训练目标是最小化交叉熵损失而非优化命题真值，是与生成机制深度耦合的固有特性而非偶发缺陷72% 相似待验证朴素训练后量化会导致单个权重误差在多层网络中累积放大，即复合误差，在2位或1位精度下模型结构会崩溃70% 相似待验证大语言模型的训练目标是最小化下一个token的预测损失（交叉熵损失），而非验证生成内容的事实准确性70% 相似待验证从信息论角度看，LLM的输出熵相对较低，倾向于收敛到训练数据的高概率区域69% 相似待验证Dietterich（1998）指出即使使用交叉验证，各折之间也并非完全独立，因为训练集之间存在大量重叠，这可能导致假阳性率膨胀69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937680

API

curl https://kongchang.com/api/v1/knowledge/claims/937680

MCP

get_claim(id=937680)