从零手写简单线性回归：最小二乘法推导与Python实现

为什么要从零实现线性回归

在机器学习的学习路径中，简单线性回归（Simple Linear Regression）往往是第一个接触的算法。得益于 scikit-learn 这类高度封装的库，我们只需调用 LinearRegression().fit() 就能在几行代码内完成建模。然而，这种便利也带来了一个问题：许多学习者知其然而不知其所以然，对模型背后的数学推导、误差评估、统计检验一无所知。

近期有开发者在社区分享了一个完全脱离 sklearn、从零手写简单线性回归的实践项目。这个项目的价值不在于代码本身有多复杂，而在于它系统性地把从直觉理解到统计推断的完整链条走了一遍。本文将基于这一实践思路，拆解从零实现线性回归所需掌握的核心知识点。

线性回归的数学本质：从直觉到公式

线性回归的基本假设

简单线性回归的核心思想非常朴素：我们假设自变量 X 和因变量 Y 之间存在近似的线性关系，即：

Y ≈ β0 + β1·X

其中 β0 是截距（intercept），β1 是斜率（slope）。整个建模过程，本质上就是找到一组最优的 β0 和 β1，使得这条直线能够最好地拟合所有数据点。

最小二乘法求解回归系数

如何定义"最好"？这里引入了残差平方和（RSS, Residual Sum of Squares）的概念。残差指的是每个真实值与预测值之间的差距，我们希望所有残差的平方和最小。通过对 RSS 分别求 β0 和 β1 的偏导并令其为零，可以推导出闭式解：

β1 = Σ(xi - x̄)(yi - ȳ) / Σ(xi - x̄)²
β0 = ȳ - β1·x̄

这两个公式是整个线性回归的基石。手动实现时，只需遍历数据计算均值、协方差与方差，就能得到回归系数——完全不依赖任何机器学习库。这一步让人真正理解了"训练模型"到底在做什么：它不是黑盒，而是一组明确的数学运算。

模型可靠性的统计评估

仅仅算出 β0 和 β1 并做出预测，只完成了机器学习的一半工作。真正区分"调包侠"和"深度理解者"的，是对模型可靠性的统计评估。

标准误差与置信区间

我们计算出的 β0 和 β1 只是基于样本数据的估计值，它们本身也存在不确定性。标准误差（SE, Standard Error）衡量的正是这种估计的波动程度。基于标准误差，我们可以构建 95% 置信区间（Confidence Interval）：

β1 ± 2·SE(β1)

这个区间的含义是：如果我们反复采样并建模，约有 95% 的情况下真实的 β1 会落在这个区间内。置信区间越窄，说明我们对系数的估计越有把握。

假设检验与p值：系数真的有意义吗

一个关键的统计问题是：X 和 Y 之间真的存在关系吗？还是这种关系只是随机噪声造成的巧合？这就需要进行假设检验。

我们设定原假设 H0：β1 = 0（即 X 对 Y 没有影响）。通过计算 t 统计量：

t = β1 / SE(β1)

再根据 t 分布求出对应的 p 值。如果 p 值足够小（通常小于 0.05），我们就有足够证据拒绝原假设，认为 X 与 Y 之间确实存在显著的线性关系。这一步是许多只会调用 sklearn 的人完全忽略的环节，却恰恰是判断模型是否有实际意义的关键。

衡量拟合优度的两个核心指标

残差标准误差 RSE

残差标准误差（RSE, Residual Standard Error）衡量的是模型的平均预测偏差，即预测值偏离真实值的典型幅度。RSE 越小，说明模型拟合得越好。它用与 Y 相同的单位来表达误差，因此具有很好的可解释性。

R² 决定系数

R²（Coefficient of Determination，决定系数）是评估拟合优度最常用的指标，取值范围在 0 到 1 之间：

R² = 1 - RSS/TSS

其中 TSS 是总平方和（Total Sum of Squares）。R² 表示模型解释了因变量总变异中的多大比例。R² 越接近 1，说明模型解释力越强。不过需要注意，R² 高并不总是意味着模型好，在复杂场景下还需要结合残差分析等方法综合判断。

从零实现线性回归的核心收获

对比直接调用 sklearn，从零手写线性回归带来了几个不可替代的收获：

• 理解数学本质：亲手推导最小二乘法系数公式，明白模型是如何"学习"的；
• 掌握统计思维：标准误差、置信区间、假设检验、p 值这些统计概念，是判断模型是否可信的核心工具，而非可有可无的装饰；
• 建立评估体系：知道用 RSE 和 R² 从不同角度衡量模型表现；
• 提升调试能力：当模型表现异常时，理解底层原理的人能快速定位问题，而只会调包的人往往束手无策。

结语

在大模型和自动化工具盛行的今天，从零手写一个简单线性回归看似"过时"，实则是打牢机器学习基础的最佳方式之一。它提醒我们：真正的技术能力来自对原理的深刻理解，而不是对 API 的熟练调用。

如果你正在学习机器学习，不妨也从这样一个练习开始——不用 sklearn，把直觉、数学推导、预测、误差评估、统计检验完整地走一遍。当你能亲手实现并解释每一个公式时，你对线性回归乃至整个机器学习的理解会上升到一个全新的层次。