Unverified50% confidenceFactTime unknown
预训练阶段使用Cross-Entropy Loss来衡量预测分布与实际下一个token之间的差距
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026
Sources
Related Claims
Verified交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度71% similarUnverified批量梯度下降使用全部训练数据计算梯度，随机梯度下降每次只用一个样本，小批量梯度下降在两者之间取得平衡70% similarVerified分类任务常用交叉熵损失（Cross-Entropy Loss），回归任务常用均方误差（MSE）68% similarUnverified如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上68% similarUnverified在稠密检索中，批内负样本训练要求批次包含有信息量的负样本，随机采样会导致训练损失快速收敛但泛化性能差67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/55195API
curl https://kongchang.com/api/v1/knowledge/claims/55195MCP
get_claim(id=55195)