gpu相关内容

多GPU基本用法

例如，我如何使用两个设备进行改进以下代码的性能(向量总和)?是否可以“同时"使用更多设备?如果是，如何管理向量在不同设备的全局内存上的分配? #include #include #include #include #include #define NB 32#定义新台币 500#define N NB*NT__ ..

发布时间：2022-01-10 15:19:55 cuda gpu multi-gpu 其他开发

nvidia-smi Volatile GPU-Utilization 解释?

我知道 nvidia-smi -l 1 会每隔一秒提供一次 GPU 使用率(类似于以下内容).但是，我希望能解释一下 Volatile GPU-Util 的真正含义.这是使用的 SM 数量超过总 SM 的数量，还是占用率，还是其他什么? +-----------------------------------------------------------------------------+| ..

发布时间：2022-01-10 15:19:32 cuda nvidia gpgpu gpu 其他开发

除了第一个 cudaMalloc 调用之外，还有什么特殊的函数可以初始化 GPU?

由于 GPU 上的一些初始化工作，第一次 cudaMalloc 调用很慢(例如 0.2 秒).有没有只做初始化的函数，这样我就可以分开时间了?cudaSetDevice 似乎将时间减少到 0.15 秒，但仍然没有消除所有初始化开销. 解决方案 调用 cudaFree(0); 是在 CUDA 运行时强制建立惰性上下文的规范方法.您无法减少开销，这是驱动程序、运行时和操作系统延迟的函数.但 ..

发布时间：2022-01-10 15:18:59 cuda gpu 其他开发

CUDA 应用程序超时 &几秒钟后失败 - 如何解决这个问题?

我注意到 CUDA 应用程序在失败并退出之前往往有大约 5-15 秒的粗略最大运行时间.我意识到最好不要让 CUDA 应用程序运行那么长时间，但假设使用 CUDA 是正确的选择，并且由于每个线程的顺序工作量必须运行那么长时间，有没有办法延长这段时间或绕过它? 解决方案 我不是 CUDA 专家，我一直在用 AMD Stream SDK 开发，AFAIK 差不多. 您可以禁用 Windo ..

发布时间：2022-01-10 15:17:42 cuda timeout gpgpu gpu 其他开发

将主机函数作为函数指针传递给 __global__ 或 __device__ 函数中的 CUDA

我目前正在开发 CPU 功能的 GPU 版本(例如函数 Calc(int a, int b, double* c, souble* d, CalcInvFunction GetInv ))，其中宿主函数作为函数指针传递(例如，在上面的示例中 GetInv 是 CalcInvFunction 类型的宿主函数).我的问题是，如果我必须将 Calc() 函数完全放在 GPU 中，我必须将 GetInv ..

发布时间：2022-01-10 15:16:34 cuda gpu gpgpu 其他开发

如何测量 NVIDIA CUDA 中的内核时间?

我想测量GPU的时间内核，如何在NVIDIA CUDA中测量它?例如 __global__ void kernelSample(){这里有一些代码获取开始时间这里有一些代码获取停止时间这里有一些代码} 解决方案 试试这个，它以毫秒为单位测量 2 个事件之间的时间. cudaEvent_t 开始，停止；浮动经过时间；cudaEventCreate(&start);cudaEventReco ..

发布时间：2022-01-10 15:16:18 cuda gpu gpgpu nvidia 其他开发

修改注册表以增加 GPU 超时，Windows 7

我正在尝试将 GPU 上的超时从默认设置 2 秒增加到更长的时间.我发现了以下 link 但它在 Windows 中似乎略有不同7 因为我看不到网页中提到的任何内容. 以前有人做过吗?如果可以，请您填补空白. 谢谢 @RoBik 如果我想要 6 天，如下所示(我知道有点过分，但只是举例)?再次感谢您的帮助，+1. 编辑这是我目前遇到的错误. 发生错误，操作已终止.CU ..

发布时间：2022-01-10 15:15:03 cuda gpu gpgpu regedit 其他开发

CUDA 内存是如何管理的?

当我运行仅分配少量全局内存(低于 20 M)的 CUDA 程序时，出现“内存不足"错误.(从其他人的帖子中，我认为问题与内存碎片有关)我试图理解这个问题，并意识到我有几个与 CUDA 内存管理相关的问题. CUDA 中有虚拟内存的概念吗? 如果只允许一个内核同时在 CUDA 上运行，在它终止后，它使用或分配的所有内存是否都会释放?如果没有，这些内存何时释放? 如果允许在 CUDA ..

发布时间：2022-01-10 15:14:57 cuda nvidia gpu 其他开发

用于 CUDA 编程的 GPU 模拟器，无需硬件

问题:是否有 Geforce 卡的模拟器可以让我在没有实际硬件的情况下编程和测试 CUDA? 信息: 我希望在 CUDA 中加快我的一些模拟，但我的问题是我并不总是在我的桌面上进行这项开发.我想在我的上网本上做一些工作，但我的上网本没有 GPU.现在据我所知，您需要一个支持 CUDA 的 GPU 来运行 CUDA.有没有办法解决这个问题?似乎唯一的方法是使用 GPU 模拟器(这显然会非 ..

发布时间：2022-01-10 15:14:30 cuda gpu emulation cpu 其他开发

TensorFlow 默认使用机器中所有可用的 GPU 吗?

我的机器中有 3 个 GTX Titan GPU.我使用 cifar10_train.py 运行 Cifar10 中提供的示例并得到以下输出: I tensorflow/core/common_runtime/gpu/gpu_init.cc:60] 无法启用从设备序号 0 到设备序号 1 的对等访问我 tensorflow/core/common_runtime/gpu/gpu_init.cc: ..

发布时间：2022-01-09 18:31:16 machine-learning computer-vision gpu tensorflow AI人工智能

为什么 PyTorch nn.Module.cuda() 不移动模块张量而只移动参数和缓冲区到 GPU?

nn.Module.cuda() 将所有模型参数和缓冲区移动到 GPU. 但为什么不是模型成员张量? class ToyModule(torch.nn.Module):def __init__(self) ->没有任何:super(ToyModule, self).__init__()self.layer = torch.nn.Linear(2, 2)self.expected_moved ..

发布时间：2022-01-06 19:58:50 python pytorch gpu tensor Python

如何使用 pytorch 列出所有当前可用的 GPU?

我知道我可以使用 torch.cuda.current_device() 访问当前的 GPU，但是我如何获得所有当前可用的 GPU 的列表? 解决方案 您可以通过以下方式列出所有可用的 GPU: >>>进口火炬>>>available_gpus = [torch.cuda.device(i) for i in range(torch.cuda.device_count())]>>>ava ..

发布时间：2022-01-06 19:56:45 python pytorch gpu Python

使用多个 GPU 运行 LSTM 会得到“输入和隐藏张量不在同一设备上"；

我正在尝试在 pytorch 中训练 LSTM 层.我正在使用 4 个 GPU.初始化时，我添加了 .cuda() 函数将隐藏层移动到 GPU.但是当我使用多个 GPU 运行代码时，我收到此运行时错误: RuntimeError: 输入张量和隐藏张量不在同一个设备上 我试图通过在前向函数中使用 .cuda() 函数来解决这个问题，如下所示: self.hidden = (self.hidde ..

发布时间：2022-01-06 19:55:37 python gpu lstm pytorch Python

为什么GPU可以比CPU更快地做矩阵乘法?

我已经使用 GPU 一段时间了，但我没有质疑它，但现在我很好奇. 为什么GPU做矩阵乘法的速度比CPU快得多?是因为并行处理吗?但是我没有写任何并行处理代码.它自己会自动完成吗? 任何直觉/高级解释将不胜感激！ 解决方案 你如何并行化计算? GPU 能够进行大量并行计算.比 CPU 能做的要多得多.看看这个向量相加的例子，假设有 1M 个元素. 使用 CPU 假设您 ..

发布时间：2022-01-06 19:37:02 tensorflow parallel-processing gpu matrix-multiplication pytorch 其他开发

使用 pytorch 获取可用的 GPU 内存总量

我正在使用 google colab 免费 Gpu 进行实验，想知道有多少 GPU 内存可以玩，torch.cuda.memory_allocated() 返回当前占用的 GPU 内存，但是我们如何使用 PyTorch 确定总可用内存. 解决方案 PyTorch 可以为您提供全部、保留和分配的信息: t = torch.cuda.get_device_properties(0).tota ..

发布时间：2022-01-06 19:34:19 gpu pytorch google-colaboratory 其他开发

如何修复pytorch中的“输入和隐藏张量不在同一设备上"

当我想将模型放到 GPU 上时，出现以下错误: “运行时错误:输入张量和隐藏张量不在同一设备上，在 cuda:0 处找到输入张量，在 cpu 处找到隐藏张量" 但是，以上所有内容都已放在 GPU 上: for m in model.parameters():打印(m.device)#return cuda:0 if torch.cuda.is_available():模型 = m ..

发布时间：2022-01-06 19:20:09 python python-3.x pytorch gpu lstm Python

“RuntimeError: CUDA 错误:触发设备端断言"是什么意思?在 PyTorch 中是什么意思?

我看过很多针对特定案例特定问题的特定帖子，但没有基本的动机解释.这是什么错误: RuntimeError:CUDA 错误:触发设备端断言 是什么意思?具体来说，被触发的断言是什么，为什么断言在那里，我们如何向后工作以调试问题? 按原样，此错误消息在诊断任何问题时几乎无用，因为它似乎是在说“某处触及 GPU 的某些代码"有问题.Cuda 的文档在这方面似乎也没有帮助，尽管我可能是错的.ht ..

发布时间：2022-01-06 19:19:34 python gpu pytorch Python

PyTorch CUDA 与 Numpy 的算术运算?最快的?

我使用具有 GPU 支持的 Torch 和 Numpy 使用以下函数执行逐元素乘法，发现 Numpy 循环比 Torch 快，我怀疑这不应该是这种情况. 我想知道如何使用 GPU 使用 Torch 执行一般算术运算. 注意:我在 Google Colab notebook 中运行了这些代码片段 定义默认张量类型以启用全局 GPU 标志 torch.set_default_ten ..

发布时间：2022-01-06 19:19:24 python-3.x numpy gpu pytorch Python

PyTorch:tensor.cuda() 和 tensor.to(torch.device(“cuda:0")) 有什么区别?

在 PyTorch 中，以下两种方法向 GPU 发送张量(或模型)有什么区别: 设置: X = np.array([[1, 3, 2, 3], [2, 3, 5, 6], [1, 2, 3, 4]]) # X = model()X = 火炬.DoubleTensor(X) 方法一方法二 X.cuda() device = torch.device("cuda:0") X = X.to ..

发布时间：2022-01-06 19:08:13 python pytorch gpu Python

CUDA 运行时错误 (59):触发设备端断言

我可以访问 Tesla K20c，我正在 CIFAR10 数据集上运行 ResNet50...然后我得到的错误是: THCudaCheck FAIL file=/opt/conda/conda-bld/pytorch_1524584710464/work/aten/src/THC/generated/../generic/THCTensorMathPointwise.cu 行=265 错误=59 ..

发布时间：2022-01-06 19:05:06 gpu pytorch 其他开发