backpropagation - IT屋-程序员软件开发技术分享社区

切换GPU设备会影响PyTorch反向传播中的梯度吗？

我用火炬。在计算中，我将一些数据和运算符A移到了GPU中。在中间步骤中，我将数据和运算符B移到CPU并继续前进。我的问题是：我的运算符B非常耗费内存，无法在GPU中使用。这是否会影响反向传播(某些部分在GPU中计算，其他部分在CPU中计算)？推荐答案 Pytorch跟踪张量的位置。如果您使用.cpu()或.to('cpu')pytorch的本机命令，则应该没有问题。 ..

发布时间：2022-04-08 14:40:45 pytorch gpu cpu gradient-descent backpropagation 其他开发

计算两个模型之间的渐变

让我们假设我们正在构建一个基本的CNN，它可以识别猫和狗的图片(二进制分类器)。这类CNN的例子如下： model = Sequential([ Conv2D(32, (3,3), input_shape=...), Activation('relu'), MaxPooling2D(pool_size=(2,2), Conv2D(32, (3,3), input_s ..

发布时间：2022-04-01 22:44:18 python tensorflow tensorflow2.0 backpropagation Python

反向传播和渐变下降使用相同的逻辑吗？

CNN使用反向传播来更新随机分配的权重、偏差和过滤器。对于值的更新，我们从头到尾使用链式规则找出梯度，并使用公式 New Value = old value - (learning Rate * gradient) 梯度下降是一个优化器，用于优化损失函数。这里还计算了梯度，公式为 New value = old value - (learning Rate * gradient) ..

发布时间：2022-02-25 17:46:50 neural-network conv-neural-network gradient-descent backpropagation 其他开发

我有一个用例，我对批次中的每个样本进行转发，并且仅根据样本模型输出的某些条件累积某些样本的损失.这是一个说明代码， for batch_idx, (data, target) in enumerate(train_loader):optimizer.zero_grad()总损失 = 0loss_count_local = 0对于范围内的我(len(目标)):im = Variable(data ..

发布时间：2022-01-06 20:01:03 python backpropagation pytorch Python

如何正确更新 PyTorch 中的权重?

我正在尝试根据此 schema 使用 PyTorch 实现梯度下降但无法弄清楚如何正确更新权重.这只是一个玩具示例，有 2 个线性层，隐藏层中有 2 个节点，一个输出. 学习率=0.05；目标输出 = 1 https://hmkcode.github.io/ai/backpropagation-一步一步/ 转发向后我的代码如下: 导入火炬将 torch.nn 导入为 ..

发布时间：2022-01-06 19:54:28 pytorch backpropagation gradient 其他开发

pytorch 如何通过 argmax 反向传播?

我正在 pytorch 中使用质心位置的梯度下降而不是期望最大化来构建 Kmeans.损失是每个点到其最近质心的平方距离之和.为了确定哪个质心离每个点最近，我使用 argmin，它在任何地方都不可微.然而，pytorch 仍然能够反向传播和更新权重(质心位置)，在数据上提供与 sklearn kmeans 相似的性能. 任何想法这是如何工作的，或者我如何在pytorch中解决这个问题?pyt ..

发布时间：2022-01-06 19:42:19 machine-learning cluster-analysis pytorch k-means backpropagation AI人工智能

PyTorch 中的截断反向传播(代码检查)

我正在尝试在 PyTorch 中实现截断的反向传播，对于 K1=K2 的简单情况.我在下面有一个可以产生合理输出的实现，但我只想确保它是正确的.当我在网上查找 TBTT 的 PyTorch 示例时，它们在分离隐藏状态和将梯度归零以及这些操作的顺序方面做了不一致的事情.如果我做错了，请告诉我. 在下面的代码中，H 维护当前隐藏状态，model(weights, H, x) 输出预测和新的隐藏状 ..

发布时间：2022-01-06 19:38:56 pytorch backpropagation 其他开发

找不到就地操作:梯度计算所需的变量之一已被就地操作修改

我正在尝试计算网络雅可比的损失(即执行双重反向传播)，但出现以下错误:运行时错误:梯度计算所需的变量之一已被原位操作修改我在我的代码中找不到就地操作，所以我不知道要修复哪一行. *最后一行出现错误:loss3.backward() inputs_reg = Variable(data, requires_grad=True)output_reg = self.model.forwa ..

发布时间：2022-01-06 19:28:02 pytorch backpropagation 其他开发

为什么在 Pytorch 中，当我复制网络权重时，它会在反向传播后自动更新?

我编写了以下代码作为测试，因为在我的原始网络中，我使用 ModuleDict 并取决于我提供的索引将仅切片和训练该网络的一部分. 我想确保只有切片层会更新它们的权重，所以我写了一些测试代码来仔细检查.好吧，我得到了一些奇怪的结果.假设我的模型有 2 层，layer1 是 FC，而 layer 2 是 Conv2d，如果我对网络进行切片并且只使用 layer2，我希望 layer1 的权重保持 ..

发布时间：2022-01-06 19:22:44 python machine-learning pytorch backpropagation AI人工智能

Pytorch:如何创建不来自衍生品的更新规则?

我想实现以下算法，摘自本书第 13.6 节: 不明白如何在pytorch中实现更新规则(w的规则与theta的规则非常相似). 据我所知，torch 需要 loss.backwward() 的损失. 这个表格似乎不适用于引用的算法. 我仍然确定在 pytorch 中实现此类更新规则的正确方法. 鉴于 V(s,w) 是神经网络的输出，由 w 参数化，非常感谢应该如何更新 ..

发布时间：2022-01-06 19:08:22 python machine-learning pytorch reinforcement-learning backpropagation AI人工智能

神经网络:反向传播阶段的逐步分解?

我必须设计一个功能性神经网络的动画视觉表示(即具有允许您调整值等的 UI).它的主要目标是帮助人们在慢动作、实时动画中可视化不同数学运算的执行方式和时间.我设置了视觉效果和 UI，允许您调整值和更改神经元的布局，以及前馈阶段的视觉效果，但由于我实际上根本不专注于神经网络，我我无法找出可视化反向传播阶段的最佳方法 - 主要是因为我在此阶段无法确定确切的操作顺序. 可视化首先向前激发神经元，然后 ..

发布时间：2021-12-31 17:11:49 neural-network backpropagation 其他开发

在反向传播中使用 sigmoid 函数计算误差

我有一个关于反向传播的快速问题.我正在查看以下内容: http://www4.rgu.ac.uk/文件/第3%20-%20bp.pdf 在本文中，它说计算神经元的误差为 Error = Output(i) * (1 - Output(i)) * (Target(i) - Output(i)) 我把公式中我不明白的部分用粗体表示.在论文中，它说由于 sigmoid 函数需要 ..

发布时间：2021-12-31 17:09:19 artificial-intelligence neural-network backpropagation AI人工智能

具有反向传播的神经网络不收敛

基本上我正在尝试在网络中实现 backpropogation.我知道反向传播算法是硬编码的，但我试图首先使其发挥作用. 它适用于一组输入和输出，但超出一个训练集，网络收敛于一个解，而另一输出收敛于 0.5. 即一次试验的输出是:[0.9969527919933012, 0.003043774988797313] [0.5000438200377985, 0.49995612243 ..

发布时间：2021-12-31 17:05:55 java backpropagation neural-network Java开发

随机化神经网络输入顺序的影响

在我的高级算法和数据结构课程中，我的教授要求我们选择我们感兴趣的任何主题.他还告诉我们研究它并尝试在其中实施解决方案.我选择神经网络是因为它是我想学习很长时间的东西. 我已经能够使用神经网络实现 AND、OR 和 XOR，该网络的神经元使用阶跃函数作为激活器.之后，我尝试实现一个反向传播神经网络，该网络学习识别 XOR 算子(使用 sigmoid 函数作为激活器).通过使用 3-3-1 网络 ..

发布时间：2021-12-31 17:04:37 artificial-intelligence machine-learning neural-network xor backpropagation AI人工智能

为什么要识别 XOR 算子的反向传播神经网络需要偏置神经元?

我发布了一个问题昨天关于我在 XOR 算子的反向传播神经网络中遇到的问题.我做了更多的工作，并意识到这可能与没有偏置神经元有关. 我的问题是，偏置神经元的一般作用是什么，它在识别异或算子的反向传播神经网络中的作用是什么?是否可以创建一个没有偏置神经元的神经元? 解决方案创建一个没有偏置神经元的神经网络是可能的......它会工作得很好，但有关更多信息，我建议您查看此问题的答案问题 ..

发布时间：2021-12-31 17:02:46 artificial-intelligence neural-network xor backpropagation bias-neuron AI人工智能

如何使用张量流构建多输入图?

是否可以定义具有多个输入的 TensorFlow 图?例如，我想给图形两个图像和一个文本，每个图像都由一堆图层处理，最后是一个 fc 图层.然后有一个节点计算一个考虑了三种表示的损失函数.目的是让三个网络在考虑联合表示损失的情况下进行反向传播.是否可以?有关于它的示例/教程吗? 解决方案这完全是直截了当的事情.对于“一个输入"，你会有类似的东西: def build_column(x, ..

发布时间：2021-12-31 16:57:23 neural-network tensorflow backpropagation 其他开发

XOR 神经网络误差在训练期间停止减少

我正在使用随机梯度下降通过反向传播训练 XOR 神经网络.神经网络的权重被初始化为 -0.5 到 0.5 之间的随机值.神经网络在大约 80% 的时间内成功地自我训练.然而，有时它在反向传播时会“卡住".通过“卡住"，我的意思是我开始看到错误纠正率下降.例如，在成功的训练过程中，总误差随着网络学习而迅速减少，如下所示: ......此训练集的总误差:0.0010008071327708653此训 ..

发布时间：2021-12-31 16:57:13 neural-network backpropagation 其他开发

弹性反向传播神经网络 - 关于梯度的问题

首先我想说我对神经网络真的很陌生，我不太了解它;) 我已经实现了反向传播神经网络的第一个 C# 实现.我已经使用 XOR 对其进行了测试，它看起来很有效. 现在我想更改我的实现以使用弹性反向传播(Rprop - http://en.wikipedia.org/wiki/Rprop). 定义说:“Rprop 只考虑所有模式的偏导数的符号(而不是幅度)，并且独立作用于每个“权重". ..

发布时间：2021-12-31 16:55:27 neural-network backpropagation 其他开发

使用 RELU 的神经网络反向传播

我正在尝试使用 RELU 实现神经网络. 输入层 -> 1 个隐藏层 -> relu -> 输出层 -> softmax 层以上是我的神经网络的架构.我对这个 relu 的反向传播感到困惑.对于 RELU 的导数，如果 x 0，则输出为 1.所以当你计算梯度时，这是否意味着如果 x 有人可以“逐步"解释我的神经网络架构的反向传播吗? 解决方案如果 x 0，则输出为 1 ..

发布时间：2021-12-31 16:51:57 neural-network backpropagation 其他开发

了解神经网络反向传播

更新:对问题的更好表述. 我正在尝试以 XOR 神经网络为例来理解反向传播算法.对于这种情况，有 2 个输入神经元 + 1 个偏置，隐藏层中的 2 个神经元 + 1 个偏置，以及 1 个输出神经元. A B A XOR B1 1 -11 -1 1-1 1 1-1 -1 -1 (来源:wikimedia.org) 我正在使用随机反向传播. 阅读更多内容后，我发现输出单元的错误 ..

发布时间：2021-12-31 16:50:41 computer-science machine-learning neural-network backpropagation AI人工智能

backpropagation相关内容