梯度提升
将AdaBoost思想推广到任意可微损失函数的集成学习框架，通过迭代拟合残差进行模型优化，XGBoost和LightGBM均基于此框架
核心事实
时间轴 (近 90 天)
梯度提升（Gradient Boosting）和XGBoost在未见数据上的R²均达到0.903。
梯度提升取得了最低的均方根误差（RMSE），为6.67 MPa。
在作者进行的预测实验中，TabPFN 在全部9次运行中排名第一：使用300条历史预订时 ROC-AUC 为0.721，1,000条时为0.766，3,000条时为0.778；梯度提升分别为0.682、0.702、0.747；逻辑回归分别为0.699、0.741、0.749。
在预测性维护中，异常检测通常采用无监督学习，如自编码器、孤立森林等算法；故障分类依赖有监督学习，用随机森林、梯度提升或时序深度学习模型。
AI和机器学习在微观模拟中的贡献包括：利用梯度提升、随机森林等算法更准确地预测个体对激励变化的反应，以及通过自然语言处理从非结构化文本中提取政策细节自动更新模型参数。
XGBoost和LightGBM是在梯度提升框架上进行扩展和优化的工程实现
梯度提升从一个粗糙的初始模型开始，不断添加小模型，每个新模型纠正前面所有模型留下的误差
梯度提升的初始模型f0(x)通常用y的均值作为所有样本的初始预测
使用均方误差(MSE)作为损失函数时，损失对预测值的负梯度恰好等于残差y-prediction
梯度提升及其衍生算法在数据竞赛（如Kaggle）中占据统治地位
还有 4 条时间轴事件
全部知识事实 (15)
相比深度学习，梯度提升在中小型数据集上通常更稳定、更可解释、训练更快
65%已验证梯度提升本质上是通过迭代地训练弱学习器、每一轮新的树专注于拟合上一轮的残差来实现集成效果
65%待验证梯度提升取得了最低的均方根误差（RMSE），为6.67 MPa。
50%待验证梯度提升（Gradient Boosting）和XGBoost在未见数据上的R²均达到0.903。
50%待验证在作者进行的预测实验中，TabPFN 在全部9次运行中排名第一：使用300条历史预订时 ROC-AUC 为0.721，1,000条时为0.766，3,000条时为0.778；梯度提升分别为0.682、0.702、0.747；逻辑回归分别为0.699、0.741、0.749。
50%待验证在预测性维护中，异常检测通常采用无监督学习，如自编码器、孤立森林等算法；故障分类依赖有监督学习，用随机森林、梯度提升或时序深度学习模型。
50%待验证AI和机器学习在微观模拟中的贡献包括：利用梯度提升、随机森林等算法更准确地预测个体对激励变化的反应，以及通过自然语言处理从非结构化文本中提取政策细节自动更新模型参数。
50%待验证梯度提升的初始模型f0(x)通常用y的均值作为所有样本的初始预测
50%待验证使用均方误差(MSE)作为损失函数时，损失对预测值的负梯度恰好等于残差y-prediction
50%待验证XGBoost和LightGBM是在梯度提升框架上进行扩展和优化的工程实现
50%待验证梯度提升及其衍生算法在数据竞赛（如Kaggle）中占据统治地位
50%待验证梯度提升从一个粗糙的初始模型开始，不断添加小模型，每个新模型纠正前面所有模型留下的误差
50%待验证集成学习的演进线索为：Bagging → 随机森林 → 梯度提升 → XGBoost
50%待验证梯度下降通过计算损失函数对模型参数的偏导数，沿梯度反方向更新参数以逼近损失函数最小值
50%待验证该作者对比了线性回归、岭回归、随机森林、梯度提升四种模型，四者表现出完全相同的偏差
50%