概念MLE / Maximum Likelihood Estimation
最大似然估计
一种统计推断方法，通过最大化数据在模型下的似然概率来估计模型参数，是推导机器学习损失函数的统一框架
核心事实
时间轴 (近 90 天)
9月11日
最大似然估计（MLE）选择使观测数据出现概率最大的参数，数学上等价于最大化似然函数 L(θ)=∏P(xi|θ)
待验证50%
9月4日
逻辑回归的损失函数（交叉熵）本质上就是负对数似然
待验证50%
8月29日
交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离
待验证60%
8月12日
预训练的目标函数通常是因果语言建模中的交叉熵损失，即给定前文所有token最大化正确预测下一个token的概率
待验证60%
全部知识事实 (6)
已验证
当输入信息不完整时，大语言模型会基于训练数据中最常见的模式进行补全，这在统计学上叫做最大似然估计
80%已验证分类任务中的交叉熵损失本质上是对数似然函数的负值，最小化交叉熵等价于最大化模型对训练数据的对数似然
70%待验证交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离
60%待验证预训练的目标函数通常是因果语言建模中的交叉熵损失，即给定前文所有token最大化正确预测下一个token的概率
60%待验证最大似然估计（MLE）选择使观测数据出现概率最大的参数，数学上等价于最大化似然函数 L(θ)=∏P(xi|θ)
50%待验证逻辑回归的损失函数（交叉熵）本质上就是负对数似然
50%