从函数到神经网络：一文读懂AI的底层逻辑

AI知识体系为何让人望而生畏

DeepSeek的火爆让人工智能再次成为全民话题，但很多人陷入了一个两难困境：既不想只看几分钟的"快餐视频"——因为看再多，很多核心问题依然一头雾水；又不愿花大量时间从头系统学习——因为整个AI知识体系实在太庞大了。

本文尝试用一条最简单的主线，把机器学习、深度学习乃至神经网络的核心思想讲清楚。记住一个关键前提：这个世界上的所有逻辑或知识，理论上都可以用一个函数来表示。 抓住这一点，后面所有的概念就都有了着落。

符号主义：AI早期的"上帝视角"

人工智能最初的思路叫做符号主义。它的核心信念是：只要我们能把现实世界抽象成符号，再设计好一套运算规则（也就是函数），就能算出结果，反过来解释现实世界。

符号主义起源于1956年的达特茅斯会议，是人工智能最早的研究范式。其代表性成果包括1960年代的专家系统（Expert Systems），如用于医学诊断的MYCIN系统和用于化学分析的DENDRAL系统。符号主义的哲学根基可以追溯到莱布尼茨的"通用语言"构想和弗雷格的形式逻辑——它们都相信，理性思维可以被还原为符号的机械操作。

这套思路在简单场景下非常有效。比如：

• 输入直角三角形的两条边长，根据勾股定理就能得到斜边长度；
• 输入物体的质量和加速度，根据牛顿第二定律就能算出施加的力。

这些都是明确的、可以写成公式的函数关系。但问题在于，很多任务人类根本无法把它写成一个明确的函数。

举个例子：识别一张图片里是老虎还是猫，对人类来说简单到不行，但要让计算机运行一段程序来完成，瞬间就变成了"史诗级难题"。就连有着明确语法和词典的机器翻译，符号主义都做不到足够丝滑，更别提复杂多变的人类智能了。1980年代末期，随着人们认识到现实世界中存在大量无法形式化的"常识知识"（所谓的"常识问题"），符号主义逐渐走向瓶颈。符号主义这条路，走到头了。

连接主义：靠"连蒙带猜"逼近真实

既然找不到精确的函数，那就换个思路——别硬找了。

我们先从一个简单的例子入手：已知一组 x 和 y 的值，想找到它们之间的函数关系。如果数据是 y=2x，一眼就能看出来，这就是符号主义的思想。但如果数据规律没那么明显呢？

答案是：猜。

把这些点画到坐标轴上，先随便猜一个函数关系，比如 y=x（此时 w=1，b=0），然后一点一点调整 w 和 b，让这条直线越来越贴近真实数据，直到完全吻合。

这里"猜"的过程在数学上被称为优化（Optimization）。具体来说，我们定义一个"损失函数"（Loss Function）来衡量当前猜测值与真实值之间的差距——常见的如均方误差（MSE），即所有预测值与真实值之差的平方的平均值。然后通过不断调整参数 w 和 b，使损失函数的值尽可能小。这个"一点点调整"的过程对应的是迭代优化算法，最经典的就是梯度下降法（Gradient Descent）：沿着损失函数下降最快的方向，每次走一小步，逐步逼近最优解。学习率（Learning Rate）控制每步走多大，太大会震荡发散，太小则收敛过慢。

但很多时候我们找不到完全吻合的函数，怎么办？那就简化问题——大差不差、能近似就行，不要求那么精确。仍然是一点点调整 w 和 b，看到差不多的时候就停下来。

这就是现代人工智能的核心思路：猜 + 简化问题。说白了，就是承认自己找不到精确的函数，那就找一个从结果上看差不多的近似解，然后连蒙带猜逐渐逼近真实答案。这种区别于符号主义的新思想，叫做连接主义。

听起来很不靠谱？在它成为主流之前，很多专家也这么想。但正是这种"连蒙带猜"的办法，让我们用很少的参数就实现了手写数字识别等任务，在实践中不断证明了它的有效性，人们才开始真正重视它。

激活函数：让"死板"的直线弯起来

前面的例子都能用直线方程表示。但当数据稍微复杂一点，你会发现无论怎么调整 w 和 b，直线都无法贴近真实数据——这时候就需要让直线"弯一弯"，也就是从线性函数进化到非线性函数。

怎么把线性变成非线性？很简单：在函数最外层再套一个非线性运算就行了，比如平方、sin、e 的指数运算。

这就是激活函数。它的作用就是把原本死气沉沉的线性关系盘活，变成表达能力更强的非线性关系。听到"非线性"不要害怕，常用的激活函数都简单到不行，但效果却出奇地好。

具体来说，常用的激活函数有几种：Sigmoid函数将输出压缩到0-1之间，早期被广泛使用但存在"梯度消失"问题（即深层网络中梯度变得极小，参数几乎无法更新）；Tanh函数输出范围在-1到1之间，是Sigmoid的改进版；ReLU（Rectified Linear Unit）是目前最流行的激活函数，简单地将负值置零、正值不变，计算高效且有效缓解梯度消失；此外还有Leaky ReLU、GELU等变体。激活函数的选择直接影响网络的训练速度和最终性能，是神经网络设计中的关键超参数之一。

此外还有两个扩展：

• 多个输入：现实中输入变量往往不止一个，所以每个 x 都要对应一个自己的 w；
• 多层套娃：一层激活函数不够灵活时，就把整体当作新的输入，再做一次线性变换、再套一次激活函数。

通过这样不断套娃，我们就能构造出极其复杂的非线性关系。理论上，这样的结构可以逼近任意的连续函数——这一结论被称为万能近似定理（Universal Approximation Theorem），由George Cybenko于1989年首次证明。该定理表明：一个具有单个隐藏层、有限数量神经元、且使用非线性激活函数的前馈神经网络，可以在紧致集上以任意精度近似任何连续函数。但这是一个存在性定理——它只告诉你"理论上能做到"，并不告诉你需要多少神经元、如何训练。实际中，深度网络（多层）往往比宽度网络（单层但神经元极多）更高效，这也是"深度学习"之所以强调"深度"的理论基础之一。

神经网络：函数的"傻瓜化"表达

问题是，这样一层层套下去，写成函数公式实在太让人头大——普通人看两层脑子就炸了。于是我们换一种更直观的表达形式。

把"一次线性变换 + 一次激活函数"画成一张图：左边是输入层，右边是输出层，每个小圆圈叫做一个神经元。

提示：不要把这里的神经元和生物神经元类比，它们其实没有关系。这种类比看似形象，反而会影响理解。历史上，"神经网络"这个名字确实受到了神经科学的启发——1943年McCulloch和Pitts提出了第一个数学神经元模型，1958年Rosenblatt发明了感知机（Perceptron）。但现代深度学习中的"神经元"已经完全是一个数学抽象：它只是一个接收输入、做线性组合、再通过激活函数输出的计算单元，和生物大脑的工作方式相去甚远。

随着结构扩展：

• 输入变多，输入层就有多个神经元；
• 每套一层，神经元就在水平方向扩展一层；
• 扩展后的中间层不再是最终输出，而是被包裹在复杂的函数变换里，看不见，我们称之为隐藏层。

以两个输入 X1、X2 为例：它们构成输入层，经过一次线性变换和激活函数，得到隐藏层 A；再把 A 当作整体，做一次线性变换和激活函数，就得到最终的输出层 Y。整个由神经元互相连接组成的网络结构，就是神经网络。

信号从左往右一层层计算的过程，叫做前向传播——本质上，就是分步把一个复杂函数的值算出来而已。

所有AI知识都在解一个问题

神经网络的每一层神经元都可以无限增加，隐藏层的数量也可以无限增加，从而构成极其复杂的非线性函数。但无论函数多复杂，我们的目标始终简单明确：根据已知的一组 X 和 Y，猜出所有的 W 和 B 是多少。

回顾这条主线：

1. 从"函数可以表示一切"的信念出发；
2. 早期符号主义追求精确函数，因世界太复杂而受挫；
3. 转向连接主义，用近似解逼近真实答案；
4. 引入激活函数，用线性变换与非线性激活的套娃表达复杂关系；
5. 把复杂的函数公式化为直观的神经网络结构。

当你搞懂了"从函数到神经网络"这条路，你会发现：剩下所有那些看起来乱七八糟的AI知识，本质上都只是为了算出这个 W 和 B 而已。 至于如何在海量参数下高效地"猜"出这些值——那就是反向传播和梯度下降要解决的下一个问题了。

反向传播（Backpropagation）的核心是微积分中的链式法则（Chain Rule）：由于神经网络是多层复合函数，要计算损失函数对每个参数的偏导数（梯度），就需要从输出层开始，逐层向前传递梯度信息。这一算法由Rumelhart、Hinton和Williams在1986年的经典论文中系统阐述，被认为是深度学习发展史上最重要的里程碑之一。没有反向传播提供的高效梯度计算方法，训练拥有数百万乃至数十亿参数的多层神经网络在计算上几乎不可行。而梯度下降则利用这些计算出的梯度，沿着"下坡"方向一步步更新参数，最终让网络的预测越来越准确。

核心要点