反向传播学习方法反向传播算法(过程及公式推导)

学习方法 2025-07-21 09:13语文学习方法www.ettschool.cn

1. 前向传播过程

输入数据通过各层权重计算（如z=wx+b）

每层输出需经过激活函数（如Sigmoid）处理

最终输出与真实值计算误差（如均方误差）

2. 反向传播核心步骤

从输出层开始逐层计算误差梯度：

```python

输出层梯度示例

dL/dz = (y_pred

y_true) sigmoid_derivative(z)

```

通过链式法则计算各参数梯度（如L/w=L/z z/w）

隐层梯度计算需依赖上一层梯度结果

3. 权重更新

采用梯度下降公式：

```text

w_new = w_old

η(L/w)

```

其中η为学习率

4. 关键点说明

需保存前向传播的中间结果用于反向计算

激活函数导数影响梯度传播（如Sigmoid的导数=σ(1-σ)）

深层网络存在梯度消失/爆炸问题

建议结合吴恩达课程进行系统学习，并通过手算练习加深理解。算法起源可追溯至Rumelhart等学者的工作。

反向传播学习方法 反向传播算法(过程及公式推导)