交叉熵
信息论中衡量两个概率分布差异的量，在LLM解码中用作约束以限制采样偏离正确答案的程度
时间轴 (近 90 天)
LLM校准问题的结构性根源在于预训练目标是最小化下一个词的交叉熵而非输出可信的概率估计，RLHF对齐又进一步放大了“显得确定”的表达倾向。
交叉熵是一个token平均指标，不会额外惩罚某些token完全没被处理的结构性缺陷，因此比较路由策略时不能只看单一的平均评估损失。
逻辑回归的前向传播流程为：线性组合 z = w·x + b，通过 sigmoid 激活 ŷ = 1/(1+e^(-z))，再计算交叉熵损失
sigmoid 激活配合交叉熵损失，对权重求导会简化为 ∂L/∂w = (ŷ - y) · x
MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
该项目将博弈问题建模为监督分类任务，神经网络输入为编码后的棋盘状态，输出为9个格子中最佳落子位置的概率分布，通过交叉熵损失学习模仿Minimax决策
交叉熵损失函数 H(p,q) = -Σp(x)log q(x) 的最小值在q=p时取到，等于真实分布的熵
当模型对某个训练样本的预测概率接近1时，该样本对应的交叉熵损失趋近于零，模型几乎无法获得梯度更新信号
监督学习本质上是函数逼近问题，通过最小化损失函数实现，常见损失函数包括回归任务的均方误差（MSE）和分类任务的交叉熵（Cross Entropy）
全部知识事实 (9)
LLM校准问题的结构性根源在于预训练目标是最小化下一个词的交叉熵而非输出可信的概率估计，RLHF对齐又进一步放大了“显得确定”的表达倾向。
50%待验证交叉熵是一个token平均指标，不会额外惩罚某些token完全没被处理的结构性缺陷，因此比较路由策略时不能只看单一的平均评估损失。
50%待验证逻辑回归的前向传播流程为：线性组合 z = w·x + b，通过 sigmoid 激活 ŷ = 1/(1+e^(-z))，再计算交叉熵损失
50%待验证sigmoid 激活配合交叉熵损失，对权重求导会简化为 ∂L/∂w = (ŷ - y) · x
50%待验证MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
50%待验证该项目将博弈问题建模为监督分类任务，神经网络输入为编码后的棋盘状态，输出为9个格子中最佳落子位置的概率分布，通过交叉熵损失学习模仿Minimax决策
50%待验证交叉熵损失函数 H(p,q) = -Σp(x)log q(x) 的最小值在q=p时取到，等于真实分布的熵
50%待验证当模型对某个训练样本的预测概率接近1时，该样本对应的交叉熵损失趋近于零，模型几乎无法获得梯度更新信号
50%待验证监督学习本质上是函数逼近问题，通过最小化损失函数实现，常见损失函数包括回归任务的均方误差（MSE）和分类任务的交叉熵（Cross Entropy）
50%