决策树
机器学习中的经典监督学习算法，通过递归划分数据集构建树形结构进行分类或回归，核心机制包括信息增益、基尼系数等纯度指标，易于理解和解释
时间轴 (近 90 天)
传统模型如SVM或决策树对标签噪声极为敏感，因为它们的容量和优化路径缺乏先学共性、后记特例的偏好。
决策树被广泛应用于医疗诊断、信贷审批等需要解释依据的场景。
决策模型的本质是一套可复用的判断逻辑，可以简单到一棵决策树，也可以是一组加权评分规则。
CLIC 训练一棵可解释的决策树来区分两个 LLM 的代码集合
限制决策树过拟合的常用手段包括限制最大树深（max_depth）、要求分裂前节点至少含N个样本（min_samples_split）以及后剪枝
决策树的构建本质上是一个递归过程：在每个节点根据某个特征和阈值把数据一分为二，然后对子集重复这一过程，直到满足停止条件
决策树暴力搜索最优分裂点的时间复杂度为 O(n·m·log n)，其中 n 为样本数、m 为特征数，是决策树训练速度的主要瓶颈
Bagging（Bootstrap Aggregating）通过对训练数据有放回采样，训练多棵决策树并综合预测结果，能有效降低方差、提升稳定性
单棵决策树最大的问题是方差高、容易过拟合，集成学习通过高偏差换低方差的权衡来弥补这一缺陷
决策树及其集成版本（随机森林、XGBoost）对特征缩放不敏感，不需要像SVM或神经网络那样进行标准化预处理
还有 4 条时间轴事件
全部知识事实 (14)
传统模型如SVM或决策树对标签噪声极为敏感，因为它们的容量和优化路径缺乏先学共性、后记特例的偏好。
50%待验证决策树被广泛应用于医疗诊断、信贷审批等需要解释依据的场景。
50%待验证决策模型的本质是一套可复用的判断逻辑，可以简单到一棵决策树，也可以是一组加权评分规则。
50%待验证CLIC 训练一棵可解释的决策树来区分两个 LLM 的代码集合
50%待验证限制决策树过拟合的常用手段包括限制最大树深（max_depth）、要求分裂前节点至少含N个样本（min_samples_split）以及后剪枝
50%待验证决策树的构建本质上是一个递归过程：在每个节点根据某个特征和阈值把数据一分为二，然后对子集重复这一过程，直到满足停止条件
50%待验证决策树暴力搜索最优分裂点的时间复杂度为 O(n·m·log n)，其中 n 为样本数、m 为特征数，是决策树训练速度的主要瓶颈
50%待验证Bagging（Bootstrap Aggregating）通过对训练数据有放回采样，训练多棵决策树并综合预测结果，能有效降低方差、提升稳定性
50%待验证单棵决策树最大的问题是方差高、容易过拟合，集成学习通过高偏差换低方差的权衡来弥补这一缺陷
50%待验证决策树及其集成版本（随机森林、XGBoost）对特征缩放不敏感，不需要像SVM或神经网络那样进行标准化预处理
50%待验证决策树的分裂准则（信息增益、基尼不纯度、均方误差）本质上是排序统计量的函数，只关心阈值两侧的类别比例而非样本间距离
50%待验证决策树使用沿坐标轴的轴对齐分割，对特征的单调变换和局部拉伸不敏感，因此对保持类别排序的变换具有天然不变性
50%待验证决策树的分裂准则本质上是排序统计量的函数，对任何保持类别排序的单调变换具有不变性
50%待验证该SWD特征变换实验在决策树上表现良好，但在逻辑回归、SVM、KNN等算法上效果糟糕
50%