逻辑回归
机器学习中的经典分类算法，通过sigmoid函数将线性组合映射为概率输出，本质上等价于单神经元无隐藏层神经网络，决策边界为线性超平面，损失函数为凸函数保证全局收敛
核心事实
时间轴 (近 90 天)
在 5 折交叉验证中扫描 C 值，C=1e-06 时 AUC 为 0.617 ± 0.019，C=0.001 时最佳为 AUC 0.749 ± 0.010，C=1 时为 0.732 ± 0.007。
正式模型使用 DictVectorizer 做 one-hot 编码（仅在训练集上 fit），逻辑回归设置 solver="liblinear"、C=1.0，验证集 AUC 为 0.732。
模型校准良好：平均预测风险 0.469，实际观察率 0.471，校准斜率 1.05，每个十分位都在观察率 5 个百分点以内。
在敏感度至少 70% 的约束下选择阈值得到 0.428，在测试集上敏感度 0.697、特异度 0.547、精确率 0.579，会标记 56.8% 的患者。
在作者进行的预测实验中，TabPFN 在全部9次运行中排名第一：使用300条历史预订时 ROC-AUC 为0.721，1,000条时为0.766，3,000条时为0.778；梯度提升分别为0.682、0.702、0.747；逻辑回归分别为0.699、0.741、0.749。
响应预测模型不一定要用复杂深度学习，用逻辑回归或梯度提升树（如XGBoost）基于少量特征即可获得明显效果。
模拟实验比较了HGP与逻辑回归的性能：在非参数结构下，HGP实现了更低的人口加权预测误差；而当参数模型设定正确时，逻辑回归则表现良好。
当有标注数据和稳定schema时，逻辑回归分类器在HDFS异常检测任务上以50个标注块达95.1%准确率，8000块达99.7%，超过零样本LLM的86%。
ML Zoomcamp 2026 的 Module 3 涵盖逻辑回归训练、独热编码处理类别变量、互信息评分、特征消除以及分类模型的可解释性。
独热编码存在虚拟变量陷阱：若同时保留全部k列并拟合截距项，特征间会完全共线，逻辑回归虽可通过正则化缓解，但通常仍会采用 drop='first' 去掉一列。
还有 32 条时间轴事件
全部知识事实 (20)
线性探针是在模型激活值上训练的简单线性分类器，用于检测模型内部是否存在特定行为或概念
75%待验证逻辑回归尽管名字中有回归，实际上是一种分类算法
70%待验证模型选择应遵循从简单到复杂的原则，先用逻辑回归或决策树建立基线，再逐步尝试集成方法和深度学习模型
60%待验证正式模型使用 DictVectorizer 做 one-hot 编码（仅在训练集上 fit），逻辑回归设置 solver="liblinear"、C=1.0，验证集 AUC 为 0.732。
50%待验证在 5 折交叉验证中扫描 C 值，C=1e-06 时 AUC 为 0.617 ± 0.019，C=0.001 时最佳为 AUC 0.749 ± 0.010，C=1 时为 0.732 ± 0.007。
50%待验证在敏感度至少 70% 的约束下选择阈值得到 0.428，在测试集上敏感度 0.697、特异度 0.547、精确率 0.579，会标记 56.8% 的患者。
50%待验证模型校准良好：平均预测风险 0.469，实际观察率 0.471，校准斜率 1.05，每个十分位都在观察率 5 个百分点以内。
50%待验证在作者进行的预测实验中，TabPFN 在全部9次运行中排名第一：使用300条历史预订时 ROC-AUC 为0.721，1,000条时为0.766，3,000条时为0.778；梯度提升分别为0.682、0.702、0.747；逻辑回归分别为0.699、0.741、0.749。
50%待验证响应预测模型不一定要用复杂深度学习，用逻辑回归或梯度提升树（如XGBoost）基于少量特征即可获得明显效果。
50%待验证模拟实验比较了HGP与逻辑回归的性能：在非参数结构下，HGP实现了更低的人口加权预测误差；而当参数模型设定正确时，逻辑回归则表现良好。
50%待验证当有标注数据和稳定schema时，逻辑回归分类器在HDFS异常检测任务上以50个标注块达95.1%准确率，8000块达99.7%，超过零样本LLM的86%。
50%待验证独热编码存在虚拟变量陷阱：若同时保留全部k列并拟合截距项，特征间会完全共线，逻辑回归虽可通过正则化缓解，但通常仍会采用 drop='first' 去掉一列。
50%待验证ML Zoomcamp 2026 的 Module 3 涵盖逻辑回归训练、独热编码处理类别变量、互信息评分、特征消除以及分类模型的可解释性。
50%待验证arXiv论文（arXiv:2610.07292v1）指出，当协变量分布未知时，即便是逻辑回归这样基础的非线性问题，在中等维度下传统方法也可能出现灾难性的失效模式
50%待验证该研究将由随机森林、XGBoost和逻辑回归组成的集成模型进行精炼中智分解，输出T-hat、F-hat、I1-hat、I2-hat四个相互独立的指标
50%待验证在JNU上留出1000 rpm时集成准确率崩溃到40.64%，低于多数类基线，而单独的逻辑回归达到57.91%，泛化能力远超树模型集成
50%待验证传统的 TF-IDF + 逻辑回归方案不依赖预训练，将文本转为词频统计向量后训练线性分类器，速度快、资源占用低，但语义理解能力不如 BERT
50%待验证经典机器学习方法（如逻辑回归、SVM、朴素贝叶斯）配合TF-IDF或固定词向量等预计算文本特征，参数量极小，CPU推理延迟可低至毫秒级
50%待验证逻辑回归既可做二分类也可做多分类
50%待验证在数据量有限或推理延迟极为苛刻的场景下，TF-IDF加逻辑回归的组合仍是工程师的首选方案
50%