multi-gpu相关内容

使用 CUDA6.5 + MPI 时是否必须使用 MPS(多进程服务)?

链接是这样写的:https://docs.nvidia.com/deploy/pdf/CUDA_Multi_Process_Service_Overview.pdf 1.1.概览 1.1.1.MPS 多进程服务 (MPS) 是一种替代的、二进制兼容的CUDA 应用程序编程接口 (API) 的实现.MPS 运行时架构旨在透明地启用协作多进程 CUDA 应用程序，通常是 MPI 作业 ..

发布时间：2022-01-10 16:07:15 cuda mpi gpgpu nvidia multi-gpu 其他开发

尝试同时使用板载 iGPU 和 Nvidia 独立卡时，CUDA 失败.我如何同时使用离散的 nvidia 和集成(板载)intel gpu?

我最近在让我的电脑 (ivybridge) 使用板载 gpu (intel igpu HD4000) 进行正常屏幕显示使用时遇到了一些麻烦，而我在离散的 Nvidia GT 640 上运行我的 CUDA 程序进行计算我在我的机器上.问题是在 iGPU 显示下，CUDA 将无法识别 nvidia 卡，并且根本无法加载 nvidia 驱动程序. 请记住，在为显示设备使用 nvidia windo ..

发布时间：2022-01-10 16:04:01 cuda intel nvidia multi-gpu 其他开发

多GPU基本用法

例如，我如何使用两个设备进行改进以下代码的性能(向量总和)?是否可以“同时"使用更多设备?如果是，如何管理向量在不同设备的全局内存上的分配? #include #include #include #include #include #define NB 32#定义新台币 500#define N NB*NT__ ..

发布时间：2022-01-10 15:19:55 cuda gpu multi-gpu 其他开发

tensorflow 多 GPU 并行使用

我想并行使用 8 gpus，而不是按顺序使用. 例如，当我执行这段代码时， 将 tensorflow 导入为 tf使用 tf.device('/gpu:0'):对于范围内的我(10):打印(一)使用 tf.device('/gpu:1'):对于范围内的 i (10, 20):打印(一) 我尝试了 cmd 命令 'CUDA_VISIBLE_DEVICE='0,1' 但结果是一样的. ..

发布时间：2021-09-05 19:03:39 python tensorflow multi-gpu Python

如何在tensorflow中使用keras.utils.Sequence数据生成器和tf.distribute.MirroredStrategy进行多GPU模型训练?

我想使用Tensorflow 2.0在多个GPU上训练模型.在用于分布式训练的tensorflow教程中( https://www.tensorflow.org/guide/distributed_training)，将 tf.data 数据生成器转换为分布式数据集，如下所示: dist_dataset = mirrored_strategy.experimental_distribute_d ..

发布时间：2021-05-28 19:11:52 keras tensorflow2.0 multi-gpu 其他开发

运行多GPU CUDA示例(SimpleP2P)时P2P内存访问失败

我正在尝试解决运行CUDA示例中包含的simpleP2P示例程序时发现的错误.错误如下: $ ./simpleP2P[./simpleP2P]-正在启动...正在检查多个GPU ...支持CUDA的设备数量:2>GPU0 ="Tesla K20c" IS具有点对点(P2P)功能>GPU1 ="Tesla K20c" IS具有点对点(P2P)功能正在检查GPU是否支持对等内存访问...>来自特斯 ..

发布时间：2021-04-27 20:11:23 cuda nvidia p2p multi-gpu 其他开发

CUDA 3.2中的多个GPU以及Cuda 4.0的问题

我是多个GPU的新手.我已经为单个GPU编写了代码，并希望通过使用多个GPU进一步提高速度.我正在使用两个GTX 470，MS VS 2008和cuda工具包4.0 我面临两个问题. 第一个问题是我的代码无法在4.0构建规则下正常运行，而在3.2构建规则下正常运行.同样，multiGPU的SDK示例也不基于VS2008给出错误 错误C3861:'cudaDeviceReset': ..

发布时间：2020-07-01 02:30:37 cuda gpgpu multi-gpu 其他开发

Tensorflow Java Multi-GPU推理

我有一个带有多个GPU的服务器，并希望在Java应用程序内部进行模型推断时充分利用它们. 默认情况下，tensorflow会占用所有可用的GPU，但仅使用第一个. 我可以想到三种解决此问题的方法: 在进程级别上限制设备可见性，即使用CUDA_VISIBLE_DEVICES环境变量. 这将需要我运行Java应用程序的多个实例并在其中分配流量.不是那个诱人的主意. 在单个应用程 ..

发布时间：2020-07-01 02:30:35 java tensorflow tensorflow-gpu multi-gpu Java开发

多GPU编程如何与Vulkan一起使用?

在Vulkan中使用多GPU是否会像创建多个命令队列，然后在它们之间划分命令缓冲区一样? 有两个问题: 在OpenGL中，我们使用GLEW来获取函数.拥有超过1个GPU，每个GPU都有自己的驱动程序.我们如何使用Vulkan? 框架的一部分将由GPU&生成吗?其他带有其他GPU的处理器则使用Intel GPU渲染UI&例如，AMD还是Nvidia GPU可以在Labtop中渲染游戏屏 ..

发布时间：2020-07-01 02:29:32 gpu multi-gpu vulkan 其他开发

如何解决Core Foundation/IO Kit中较新的多GPU Apple笔记本电脑上CGDirectDisplayID更改的问题?

在Mac OS X中，每个显示器都会分配一个唯一的CGDirectDisplayID号.您可以使用CGGetActiveDisplayList()或[NSScreen screens]来访问它们.每个 Apple的文档: 显示ID可以持续存在 进程和系统重启，以及 通常只要保持恒定 某些显示参数不 改变. 在2010年中期更新的MacBook Pro上，Apple开始使用自动切换Int ..

发布时间：2020-07-01 02:29:27 objective-c core-graphics core-foundation iokit multi-gpu 移动开发

如何在具有数据并行性的多个GPU上运行Tensorflow Estimator

我有一个带有某些模型的标准tensorflow Estimator，并且希望在多个GPU而不是一个GPU上运行它.如何使用数据并行性做到这一点? 我搜索了Tensorflow文档，但没有找到示例；只有一句话说使用Estimator会很容易. 有人使用tf.learn.Estimator有很好的例子吗?还是指向教程的链接? 解决方案 我认为... def model_fn(... ..

发布时间：2020-07-01 02:29:23 tensorflow tensorflow-gpu multi-gpu 其他开发

Google Cloud ML引擎中的分布式Tensorflow设备放置

我正在Google Cloud ML引擎中运行大型分布式Tensorflow模型.我想使用带有GPU的机器. 我的图由输入/数据读取器功能和计算部分两个主要部分组成. 我希望将变量放置在PS任务中，将输入部分放置在CPU中，将计算部分放置在GPU中. 函数tf.train.replica_device_setter自动将变量放置在PS服务器中. 这是我的代码的样子: with t ..

发布时间：2020-06-17 18:33:24 tensorflow gpu distributed-computing google-cloud-ml multi-gpu 其他开发

通过同步手段和vars实现多GPU BN层的方法

我想知道在使用多GPU训练时，通过同步批处理统计信息来实现批处理规范化层的可能方法。 Caffe 也许有一些Caffe变体可以做到，例如链接。但是对于BN层，我的理解是它仍然仅同步层的输出，而不同步均值和变量。也许MPI可以同步均值和变量，但我认为MPI有点难以实现。 火炬我已经看到了一些评论此处和此处，其中显示running_mean和running_var可以同步，但是我认为批均值 ..

发布时间：2020-06-06 20:05:19 tensorflow caffe torch multi-gpu batch-normalization 其他开发

OpenGL多GPU支持

当我们在PC上创建OpenGL上下文时，是否可以选择使用哪个物理设备或使用多少个设备?最新的OpenGL(4.5)API是否支持多GPU架构?如果我有两张相同的图形卡(例如，两张Nvidia GeForce卡)，如何正确编程OpenGL API，以便从我有两张卡的事实中受益?如何以最小的努力将OpenGL程序从单个GPU版本转移到多GPU版本? 解决方案 OpenGL驱动程序公开了多个GP ..

发布时间：2020-05-20 22:40:24 opengl multi-gpu sli 其他开发

有没有办法在多GPU环境中以编程方式选择渲染GPU? (视窗)

问题 我有一个OpenGL应用程序，它将在具有多种multi-GPU配置(可能从XP到7的Windows版本)的计算机上运行.是否有一种通用方法来选择独立于GPU组合(例如NVIDIA + NVIDIA，NVIDIA + AMD，NVIDIA + Intel等)的将用作OpenGL渲染器的特定GPU?它必须是一种可以从应用程序代码中应用的解决方案，即直接在C ++中使用，或者可以从应用程序中 ..

发布时间：2020-05-20 22:05:10 windows opengl multiple-monitors multi-gpu 其他开发

并发NDKernal启动的OpenCL多命令队列

我正在尝试运行矢量加法应用程序，在该应用程序中我需要同时启动多个内核， 因此对于并发内核启动，我最后一个问题中有人建议我使用多个命令队列. 我是用数组定义的 context = clCreateContext(NULL, 1, &device_id, NULL, NULL, &err); for(i=0;i ..

发布时间：2020-05-20 18:59:33 concurrency opencl gpu gpgpu multi-gpu 其他开发

具有多个GPU的OpenCL/OpenGL互操作

使用OpenCL/OpenGL互操作的多个GPU时遇到问题.我正在尝试编写一个呈现密集计算结果的应用程序.最后，它将运行一个优化问题，然后根据结果将某些内容渲染到屏幕上.作为测试用例，我将从本课程的粒子模拟示例代码开始: http://web.engr .oregonstate.edu/〜mjb/sig13/ 示例代码创建一个OpenGL上下文，然后使用cl_khr_gl_sharing扩展 ..

发布时间：2020-05-20 18:53:25 opengl interop opencl multi-gpu 其他开发

MPI接收/收集动态矢量长度

我有一个存储结构向量的应用程序.这些结构保存有关系统上每个GPU的信息，例如内存和千兆位/秒.每个系统上都有不同数量的GPU. 我有一个可以同时在多台计算机上运行的程序，我需要收集这些数据.我对MPI还是很陌生，但是大多数时候都可以使用MPI_Gather()，但是我想知道如何收集/接收这些动态大小的向量. class MachineData { unsigned long h ..

发布时间：2020-05-12 19:59:04 mpi gpgpu multi-gpu 其他开发

如何使用Keras进行多GPU训练?

我希望我的模型在共享参数但具有不同批次数据的多个GPU上运行. 我可以用model.fit()做类似的事情吗?还有其他选择吗? 解决方案 Keras现在(自v2.0.9起)使用keras.utils.multi_gpu_model跨多个GPU内置了对设备并行性的内置支持. 当前，仅支持Tensorflow后端. 此处的好示例(文档): https://keras.io/g ..

发布时间：2020-04-25 10:17:06 keras multi-gpu 其他开发

无法使用model.save保存模型在Keras中遵循multi_gpu_model

在升级到Keras 2.0.9之后，我一直在使用multi_gpu_model实用程序，但是我无法使用 保存模型或最佳权重 model.save('path') 我得到的错误是 TypeError:无法腌制模块对象 我怀疑在访问模型对象时存在一些问题.是否可以解决此问题? 解决方案 老实说，最简单的方法实际上是使用 检查多GPU并行模型 parallel_mode ..

发布时间：2020-04-25 10:12:15 tensorflow keras distributed-computing multi-gpu keras-2 其他开发