深度学习笔记1-感知机

Thu, 10 Sep 2026 00:00:00 +0000

深度学习基础-感知机

感知机（perceptron）是二分类的线性分类模型，属于监督学习算法，也是神经网络与支持向量机的共同前身。

感知机起源于对生物神经元细胞的抽象建模，其工作原理与生物神经元细胞类似。（如下图）

感知机计算模型如图：

工作原理：

对输入进行加权求和，与阈值进行比较并输出；得到输出后与真实标签比较，若预测错误则按误差修正权重与偏置，反复迭代，直到所有训练样本都被正确分类（数据线性可分时）。

接收一组信号 x₁, x₂, …, x_m，每一个 x_i 代表数据的一个特征。

每一个输入对应一个权重 w_i，代表该特征对最终结果的影响程度；图中还有一个恒为 1 的输入，其权重记为 w₀，也就是偏置 b(第二步介绍)。

将输入 x_i 与对应权重 w_i 相乘后求和，得到加权求和结果（净输入）：

`1`	`z = Σ xi · wi`

设定一个阈值 θ，该阈值用于划定分类的界限：加权求和的结果大于阈值时输出 1，否则输出 0。

令偏置 b = −θ，这样处理过后、与阈值的比较就变成了加入偏置和0进行比较，遮掩就能采用阶跃函数进行输出。判据就统一成了"加权求和加偏置后送入阶跃函数"的形式（即判断净输入 z 是否大于等于 0），如下图公式：

其中 z = Σ x_i · w_i + b，z = 0 落在边界上，约定输出 1。

每做出一次预测，感知机就与正确答案进行对比：若预测正确则不做任何修改；若预测错误，则按下面规律进行权重调整：

符号释义：

因为 (y − ŷ) 只在预测错误时才非零，取值为 +1（漏报）或 −1（误报），所以该式只在误分类样本上生效：

若把偏置看作权重 w₀、把恒为 1 的输入看作 x₀ = 1，则上式同时覆盖了偏置更新 b ← b + η(y − ŷ)。

把权重与偏置看作一组参数，z = 0（即 w·x + b = 0）在特征空间中是一条直线，在高维下则是超平面，它把空间分成两侧，分别对应输出 0 与输出 1。所谓"训练"，就是不断旋转、平移这条分界线，直到所有训练样本都落在正确的一侧。

Novikoff 定理：若训练集线性可分且学习率 η > 0，感知机学习算法一定能在有限步内收敛，得到一个能把所有样本正确划分的超平面。

反之，如果数据线性不可分，权重会被反复修正而始终无法稳定下来，此时算法不保证收敛。

以与门（AND）为例：取 w₁ = w₂ = 1、b = −1.5，则只有输入 (1, 1) 时 z = 0.5 ≥ 0 输出 1，其余组合 z 均小于 0 输出 0，正好实现了与逻辑。

感知机只能解决线性可分的任务。以逻辑门为例：

XOR 问题的本质是它不属于线性可分函数，这正是单层感知机的根本局限。解决思路是引入隐藏层，把单层感知机堆叠为多层感知机（MLP）——借助多层的非线性变换去逼近任意复杂的决策边界，这也是后续深度神经网络的基本思路。