autodiff相关内容

在pytorch中获取矢量化函数的梯度

我是 PyTorch 的新手,想做我认为非常简单的事情,但遇到了很多困难. 我有函数 sin(x) * cos(x) + x^2 并且我想在任何时候获得该函数的导数. 如果我做到这一点,它就像 x = torch.autograd.Variable(torch.Tensor([4]),requires_grad=True)y = torch.sin(x)*torch.cos(x)+t ..
发布时间:2022-01-06 19:53:51 Python

为什么在 Pytorch Tensor 上调用 .numpy() 之前调用 .detach() ?

已经确定 my_tensor.detach().numpy() 是从 torch 张量获取 numpy 数组的正确方法. 我正在努力更好地了解原因. 在刚刚链接的问题的接受的答案中,Blupon 指出: 您需要将张量转换为另一个除了实际值定义之外不需要梯度的张量. 在他链接的第一个讨论中,albanD 指出: 这是预期的行为,因为移动到 numpy 会破坏图形,因此不 ..
发布时间:2022-01-06 18:58:24 Python

为什么在 Pytorch 张量上调用 .numpy() 之前调用 .detach() ?

它已经确定 my_tensor.detach().numpy() 是从 torch 张量获取 numpy 数组的正确方法. 我正在努力更好地了解原因. 在刚刚链接的问题的接受的答案中,Blupon 指出: 您需要将张量转换为另一个除了实际值定义之外不需要梯度的张量. 在他链接的第一个讨论中,albanD 指出: 这是预期的行为,因为移动到 numpy 会破坏图形,因此 ..
发布时间:2021-06-10 19:26:23 Python

如何在张量流中交替训练op?

我正在实施一项轮换培训计划.该图包含两个训练操作.培训应该在这两者之间交替进行. 这与此或下面是一个小例子.但这似乎在每个步骤上都更新了两个操作.我该如何在这些之间显式交替? from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf # Import data mnist = i ..

tf.gradients如何管理复杂功能?

我正在使用复数值神经网络。 对于复杂值神经网络,通常使用Wirtinger微积分。然后,导数的定义(考虑到由于Liouville定理,函数是非全纯的): 如果您读过Akira Hirose的著作“复杂值神经网络:先进应用”,第4章公式4.9定义: 当然,偏导数也是使用Wirtinger演算来计算的。 张量流是这种情况吗?还是以其他方式定义?我找不到关于该主题的任何很好的参考 ..
发布时间:2020-10-07 00:31:02 其他开发