Slurm：提交到多个节点时出错(&quot；slurmSted：Error：execve()：Python：没有这样的文件或目录&quot；) [英] Slurm: Error when submitting to multiple nodes ("slurmstepd: error: execve(): python: No such file or directory")

问题描述

我有一个bash脚本submit.sh，用于将培训作业提交到Slurm服务器。它的工作原理如下。正在做

bash submit.sh p1 8 config_file

会向分区p1的8个GPU提交一些config_file对应的任务。p1的每个节点都有4个GPU，因此此命令请求2个节点。

submit.sh的内容可以概括如下，其中我使用sbatch提交了一个Slurm脚本(train.slurm)：

#!/bin/bash
# submit.sh

PARTITION=$1
NGPUs=$2
CONFIG=$3

NGPUS_PER_NODE=4
NCPUS_PER_TASK=10

sbatch --partition ${PARTITION} 
    --job-name=${CONFIG} 
    --output=logs/${CONFIG}_%j.log 
    --ntasks=${NGPUs} 
    --ntasks-per-node=${NGPUS_PER_NODE} 
    --cpus-per-task=${NCPUS_PER_TASK} 
    --gres=gpu:${NGPUS_PER_NODE} 
    --hint=nomultithread 
    --time=10:00:00
    --export=CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} 
    train.slurm

现在在Slurm脚本train.slurm中，我决定是在一个节点上还是在多个节点上启动Training Python脚本(在这两种情况下启动它的方式不同)：

#!/bin/bash
# train.slurm
#SBATCH --distribution=block:block

# Load Python environment
module purge
module load pytorch/py3/1.6.0
 
set -x

if [ ${NGPUs} -gt ${NGPUS_PER_NODE} ]; then # Multi-node training
    # Some variables needed for the training script
    export MASTER_PORT=12340
    export WORLD_SIZE=${NGPUs}
    # etc.

    srun python train.py --cfg ${CONFIG}
else # Single-node training
    python -u -m torch.distributed.launch --nproc_per_node=${NGPUS_PER_NODE} --use_env train.py --cfg ${CONFIG}
fi

现在，如果我在单个节点上提交(例如，bash submit.sh p1 4 config_file)，它将按预期工作。但是，在多个节点上提交(例如，bash submit.sh p1 8 config_file)会产生以下错误：

slurmstepd: error: execve(): python: No such file or directory

这意味着在其中一个节点上无法识别Python环境。我尝试将python替换为$(which python)，以获取虚拟环境中的Python二进制文件的完整路径，但随后获得了另一个错误：

OSError: libmpi_cxx.so.40: cannot open shared object file: No such file or directory

如果我不使用submit.sh，而是将所有#SBATCH变量添加到train.slurm，并直接从命令行使用sbatch提交作业，则它可以工作。因此，似乎是bash脚本中的包装sbatch导致了此问题。

您能帮我解决这个问题吗？

提前谢谢您。

推荐答案

注意，--export参数将导致srun的环境完全重置为所有SLURM_*变量加上显式设置的变量，因此在您的示例中，CONFIG、NGPUs、NGPUS_PER_NODE。因此，将不会设置PATH变量，并且srun将找不到python可执行文件。

请注意，--export不会改变提交脚本的环境，因此不使用srun的单节点情况确实运行良好。

尝试使用

提交

--export=ALL,CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} 

请注意添加的ALL是列表中的第一项。

另一种选择是完全删除--export行，并在submit.sh脚本中显式导出变量，因为默认情况下，Slurm会将提交环境传播到作业。

export PARTITION=$1
export NGPUs=$2
export CONFIG=$3

export NGPUS_PER_NODE=4
export NCPUS_PER_TASK=10

这篇关于Slurm：提交到多个节点时出错(&quot；slurmSted：Error：execve()：Python：没有这样的文件或目录&quot；)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！