深度学习笔记-关键概念

Fri, 18 Sep 2026 00:00:00 +0000

关键概念

这篇整理几个后面会反复出现的名词：前向传播、激活函数、损失函数、梯度下降、学习率。它们不是某个具体模型，而是所有神经网络训练时都要用到的共同零件。

一个神经网络的训练过程，本质上就是这五样东西的配合：先前向传播算出预测值，用损失函数衡量它和正确答案差多少，再靠梯度下降把参数往误差减小的方向挪一点，每次挪多大由学习率决定；而激活函数决定了每一层的输出长什么样，也决定了整个网络能不能表达非线性。

数据从输入层进入，沿着网络逐层往后算，直到输出层给出预测值，这个过程就叫前向传播（Forward Propagation）。(简单理解就是将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。)

沿用多层感知机笔记的记号，i 表示层号：

需要强调两点：

激活函数套在每一层"加权求和之后、往下传递之前"，负责把 z_(i) 变成该层的输出 a_(i)。

它最重要的作用是引入非线性。如果去掉激活函数、每层只做线性变换，那么无论堆多少层，最终都等价于一层线性模型（推导见多层感知机笔记），网络就失去了拟合复杂函数的能力。

常见选择：

一句话总结：隐藏层默认用 ReLU，二分类输出用 Sigmoid，多分类输出用 Softmax。

损失函数（Loss Function）用来衡量预测值 ŷ 和真实标签 y 之间的差距，输出一个标量 L 代表损失。

它是训练的目标：模型训练得好不好，就看损失能不能降下来。常见形式：

损失函数有两个要求：一是能真实反映"错得多离谱"，二是必须可导——因为后面要根据它对每个参数求偏导，参数才知道该往哪调。这也是为什么要选用 Sigmoid、ReLU 而不是阶跃函数的原因之一。

在整个训练流程里，损失函数正好卡在中间：前向传播算出 ŷ，损失函数把它变成一个可以求导的标量 L，反向传播再由这个 L 出发往回算梯度（反向传播）。

有了损失，接下来要让损失 L 变小。梯度（偏导数组成的向量）指向的是 L 上升最快的方向，那么每个参数的更新方向就很自然了——沿着梯度的反方向走：

1
2

W ← W − η · ∂L/∂W
b ← b − η · ∂L/∂b

这就是梯度下降（Gradient Descent），可以想象成站在山坡上蒙着眼往下山走：每次用脚探一下周围哪个方向最陡（求梯度），然后朝最陡的下坡方向迈一小步（更新参数），重复若干次就到了山谷附近。

按每次用多少样本来算梯度，分成三种：

需要注意的是，梯度下降拿到的是当前点的局部信息，它不保证走到全局最低点：遇到局部极小值或鞍点都可能卡住或减速。

学习率（Learning Rate）η 就是上面公式里那个"步长"，控制每次参数更新的幅度。

它是最重要也最容易调错的超参数：