Unverified50% confidenceSolutionExact time
逻辑回归中的交叉熵损失如果直接对 log(0) 求值会产生负无穷，需要加入极小的 epsilon 值或使用 log-sum-exp 技巧
1
Sources
50%
Confidence
Long-term
Relevance
8/5/2026
First Seen
Sources
Related Claims
UnverifiedOutlines 推理时将非法 token 对应的 logits 设为负无穷，使其经 softmax 后概率趋近于零，实现硬约束74% similarUnverified如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上69% similarUnverified从信息论角度，DSL约束的本质是降低了输出分布的熵，一个等概率的N选1分布熵值为log₂N68% similarUnverifiedOutlines 的约束逻辑作用于采样阶段的 logits 遮罩，不修改模型权重、不增加额外前向传播，运行时开销接近于零64% similarUnverified跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/689953API
curl https://kongchang.com/api/v1/knowledge/claims/689953MCP
get_claim(id=689953)