切换GPU设备会影响PyTorch反向传播中的梯度吗？ [英] Will switching GPU device affect the gradient in PyTorch back propagation?
本文介绍了切换GPU设备会影响PyTorch反向传播中的梯度吗？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我用火炬。在计算中，我将一些数据和运算符A移到了GPU中。在中间步骤中，我将数据和运算符B移到CPU并继续前进。
我的问题是：
我的运算符B非常耗费内存，无法在GPU中使用。这是否会影响反向传播(某些部分在GPU中计算，其他部分在CPU中计算)？
推荐答案
Pytorch跟踪张量的位置。如果您使用.cpu()或.to('cpu')pytorch的本机命令，则应该没有问题。
参见this model parallel教程-计算在两个不同的GPU设备上进行。
这篇关于切换GPU设备会影响PyTorch反向传播中的梯度吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
