服务器重置后A100上的CUDA_ERROR_NOT_INITIALIZED [英] CUDA_ERROR_NOT_INITIALIZED on A100 after server reset
本文介绍了服务器重置后A100上的CUDA_ERROR_NOT_INITIALIZED的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我在一台配备A100图形处理器的服务器上运行。在服务器重置后尝试运行TensorFlow代码时，TensorFlow无法识别GPU。运行tf.config.list_physical_devices('GPU')生成CUDA_ERROR_NOT_INITIALIZED：
2021-09-09 07:41:42.956917: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcuda.so.1
2021-09-09 07:41:43.899014: E tensorflow/stream_executor/cuda/cuda_driver.cc:313] failed call to cuInit: CUDA_ERROR_NOT_INITIALIZED: initialization error
2021-09-09 07:41:43.899148: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:169] retrieving CUDA diagnostic information for host: f42a3aa12bd1
2021-09-09 07:41:43.899169: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:176] hostname: f42a3aa12bd1
2021-09-09 07:41:43.899890: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:200] libcuda reported version is: 460.32.3
2021-09-09 07:41:43.899955: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:204] kernel reported version is: 460.32.3
2021-09-09 07:41:43.899969: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:310] kernel version seems to match DSO: 460.32.3
运行nvidia-smi：
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.32.03 Driver Version: 460.32.03 CUDA Version: 11.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 A100-PCIE-40GB Off | 00000000:00:06.0 Off | On |
| N/A 46C P0 40W / 250W | 0MiB / 40536MiB | N/A Default |
| | | Enabled |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| MIG devices: |
+------------------+----------------------+-----------+-----------------------+
| GPU GI CI MIG | Memory-Usage | Vol| Shared |
| ID ID Dev | BAR1-Usage | SM Unc| CE ENC DEC OFA JPG|
| | | ECC| |
|==================+======================+===========+=======================|
| No MIG devices found |
+-----------------------------------------------------------------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
为什么我得到CUDA_ERROR_NOT_INITIALIZED？服务器在重置之前运行得很好，NVIDIA-SMI显然工作正常。
推荐答案
您的图形处理器上似乎已启用NVIDIA多实例图形处理器，但您尚未定义任何图形处理器实例。这可以从nvidia-smi显示MIG devices表，但它是空的(No MIG devices found)这一事实可以看出。
不创建GPU实例(和相应的计算实例)， CUDA工作负载不能在GPU上运行。换句话说，简单地说， 仅在GPU上启用MIG模式是不够的。还要注意的是， 创建的MIG设备在系统重新启动后不会持续。因此， 用户或系统管理员需要重新创建所需的MIG 重置GPU或系统时的配置。您可能在重置之前定义了MIG配置，但服务器重置删除了该配置。您需要重新配置GPU实例才能使GPU重新工作。如果您只需要一个基本配置，其中只有一个使用所有资源的GPU实例，您可以运行：
sudo nvidia-smi mig -cgi 0 -C
如果您需要更花哨的配置，您应该参考文档。
配置完GPU实例后，nvidia-smi命令应该会显示MIG devices表满。在我们的例子中，它应该有一个条目：
+-----------------------------------------------------------------------------+
| MIG devices: |
+------------------+----------------------+-----------+-----------------------+
| GPU GI CI MIG | Memory-Usage | Vol| Shared |
| ID ID Dev | BAR1-Usage | SM Unc| CE ENC DEC OFA JPG|
| | | ECC| |
|==================+======================+===========+=======================|
| 0 0 0 0 | 0MiB / 40536MiB | 98 0 | 7 0 5 1 1 |
| | 1MiB / 65536MiB | | |
+------------------+----------------------+-----------+-----------------------+
这篇关于服务器重置后A100上的CUDA_ERROR_NOT_INITIALIZED的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
