待验证50% 置信事实精确时间
现有草稿模型多采用交叉熵（CE）或KL散度训练。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/3
首次发现
有效期至：2027/2/1
来源
涉及实体
相关事实
待验证模型采用二元交叉熵损失，对照oracle抽取标签进行端到端训练69% 相似待验证在语言模型训练中，最小化交叉熵与最大化似然是同一件事的两种说法，PyTorch中的CrossEntropyLoss直接计算的是负对数似然。69% 相似待验证REMORY 训练时使用 KL 散度衡量冻结 LLM 看到完整历史与看到摘要加残差 Token 时的输出分布差异68% 相似待验证论文在Llama-3家族8B模型上进行预训练评测，训练规模达1600亿token，输出投影层使用bfloat16并采用编译后的交叉熵68% 相似已验证现代大语言模型基于Transformer架构，通过预测下一个token的概率分布来生成文本，训练目标是最小化交叉熵损失66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129363API
curl https://kongchang.com/api/v1/knowledge/claims/1129363MCP
get_claim(id=1129363)