AdaBoost
一种集成学习算法，通过迭代训练多个弱分类器并动态调整样本权重，将弱学习器组合成强分类器，由Schapire和Freund提出
时间轴 (近 90 天)
AdaBoost的权重更新公式来源于对指数损失函数L=Σ_i e^(-y_i F(x_i))的逐步最小化推导
AdaBoost本质上是在指数损失函数下的特例，而Gradient Boosting是更通用的优化框架
AdaBoost（自适应提升）通过串联多个弱学习器（通常是深度为1的决策树桩）来构建强分类器
AdaBoost每一轮训练后提高被错误分类样本的权重，降低被正确分类样本的权重
AdaBoost中弱学习器权重公式为α_t = (1/2)ln((1-ε_t)/ε_t)，其中ε_t是该轮的加权错误率
AdaBoost中正确分类样本权重乘以e^(-α_t)，错误分类样本权重乘以e^(+α_t)，然后归一化
数十乃至数百个决策树桩按权重叠加后，整体分类器的精度可以显著超越单棵深层决策树
梯度提升（Gradient Boosting）将AdaBoost的思想推广到任意可微损失函数，其核心操作是每一轮新模型拟合上一轮的残差
AdaBoost（自适应提升）通过组合许多不完美的弱模型来形成强大的集成分类器，而非挑选最强的单一模型
决策树桩（Decision Stump）是深度为1的决策树，仅对一个特征设置一个阈值将样本一分为二，是AdaBoost中最常见的弱学习器形式
还有 5 条时间轴事件
全部知识事实 (14)
AdaBoost本质上是在指数损失函数下的特例，而Gradient Boosting是更通用的优化框架
50%待验证AdaBoost（自适应提升）通过串联多个弱学习器（通常是深度为1的决策树桩）来构建强分类器
50%待验证AdaBoost每一轮训练后提高被错误分类样本的权重，降低被正确分类样本的权重
50%待验证AdaBoost中弱学习器权重公式为α_t = (1/2)ln((1-ε_t)/ε_t)，其中ε_t是该轮的加权错误率
50%待验证AdaBoost中正确分类样本权重乘以e^(-α_t)，错误分类样本权重乘以e^(+α_t)，然后归一化
50%待验证AdaBoost的权重更新公式来源于对指数损失函数L=Σ_i e^(-y_i F(x_i))的逐步最小化推导
50%待验证梯度提升（Gradient Boosting）将AdaBoost的思想推广到任意可微损失函数，其核心操作是每一轮新模型拟合上一轮的残差
50%待验证数十乃至数百个决策树桩按权重叠加后，整体分类器的精度可以显著超越单棵深层决策树
50%待验证AdaBoost（自适应提升）通过组合许多不完美的弱模型来形成强大的集成分类器，而非挑选最强的单一模型
50%待验证决策树桩（Decision Stump）是深度为1的决策树，仅对一个特征设置一个阈值将样本一分为二，是AdaBoost中最常见的弱学习器形式
50%待验证AdaBoost在每一轮训练后会给被错误分类的样本赋予更高的权重，使下一个弱学习器更关注这些难分样本
50%待验证在AdaBoost的最终投票中，表现更好的弱学习器拥有更大的权重
50%待验证AdaBoost通过权重调整传递错误信号，深度学习通过反向传播把误差梯度逐层回传，两者都以'从错误中学习'为驱动力
50%待验证SVM、AdaBoost等奠基性算法的重要理论工作发表于JMLR
50%