反向传播和渐变下降使用相同的逻辑吗？ [英] Does Back Propagation and Gradient Descent use the same logic?

问题描述

CNN使用反向传播来更新随机分配的权重、偏差和过滤器。对于值的更新，我们从头到尾使用链式规则找出梯度，并使用公式

New Value = old value - (learning Rate * gradient)

梯度下降是一个优化器，用于优化损失函数。这里还计算了梯度，公式为

New value = old value - (learning Rate * gradient)

如果我给出的上述解释有误，请纠正我。

我的疑虑是：

• 反向传播和梯度下降是否使用相同的逻辑？
• 反向传播和梯度下降有关系吗？

推荐答案

反向传播是神经网络的梯度下降。 梯度下降法是逼近可微函数的更一般的一阶迭代优化算法。用它来训练多层神经网络(其中每一层代表一个可微函数)，我们可以为这类模型推导出一种更专门的算法(处理我们有隐藏单元的事实)。由此产生的算法称为反向传播。

在每次训练迭代显示多少数据的特定上下文中，SGD和GD之间可以进行second distinction比较(请参阅James Barnett的回答)，不过我认为，如果要将其与随机梯度下降进行比较，术语&迷你批处理学习更准确。

这篇关于反向传播和渐变下降使用相同的逻辑吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！