sungridengine - IT屋-程序员软件开发技术分享社区

如何控制提交网格作业时使用的 Perl 版本?

我正在使用 SGE(Sun Grid Engine)将作业提交到网格.我还使用 perlbrew 来管理我安装的 Perl 版本.我编写了一些简短的 sh 脚本，用于运行需要特定 Perl 版本 (5.12.2) 的 perl 脚本，如下所示: #!/bin/bash#$-S/bin/bash源/home/dave/.bash_profile/home/dave/perl5/perlbrew/b ..

发布时间：2022-01-18 10:15:42 perl bash grid perlbrew sungridengine 其他开发

在 Sun Grid Engine (SGE) 中将作业分布在集群的不同节点上

我正在尝试使用 sun gridending (sge) 在集群的所有节点上运行 MPI 作业的单独进程. 实际情况是每个节点有 12 个处理器，因此 SGE 将我的 60 个进程中的 12 个分配给 5 个单独的节点. 我希望它为 30 个可用节点中的每一个分配 2 个进程，因为每个节点上运行 12 个进程(dna 序列对齐)，节点内存不足. 所以我想知道是否可以明确地让 SG ..

发布时间：2021-06-04 18:35:00 mpi sungridengine 其他开发

强制SGE使用多个服务器

TL; DR:在安排作业时，是否有任何方法可以使SGE在服务器之间轮循，而不是在可能的情况下将所有作业分配给同一服务器? 详细信息: 我有一个大型的计算过程，其中包含许多较小的工作.我正在使用SGE在群集中的多个服务器之间分配工作. 该过程在不同的时间点需要不同数量的任务(从技术上讲，它是作业的DAG).有时并行作业的数量非常大(集群中每个CPU约1个)，有时却很小(每个服务器约 ..

发布时间：2021-04-22 19:44:39 parallel-processing cluster-computing sungridengine 其他开发

在SLURM中运行没有顶级脚本的二进制文件

在SGE/PBS中，我可以像在本地一样将二进制可执行文件提交到群集.例如: qsub -b y -cwd回声你好将提交一个名为echo的作业，该作业会将单词"hello"写入其输出文件. 我如何提交与SLURM类似的工作.它期望该文件在第一行上具有hash-bang解释器.在SLURM上我得到了 $ sbatch回声你好sbatch:错误:这看起来不像批处理脚本.首先sbatc ..

发布时间：2021-04-14 19:56:49 bash cluster-computing pbs sungridengine slurm 其他开发

SGE提交的作业状态不会从"qw"更改为

我正在ubuntu 14.04上使用Sun Grid Engine来排队要在多核CPU上运行的作业. 我已经在系统上安装并设置了SGE.我创建了一个"hello_world"该目录包含两个shell脚本，即"hello_world.sh". & "hello_world_qsub.sh"，第一个包括简单命令，第二个包括qsub命令，以提交第一个脚本文件作为要运行的作业. 这是"hello_worl ..

发布时间：2021-02-12 19:30:10 job-scheduling qsub sungridengine 其他开发

SGE未知资源“节点"不存在.

我在SGE上使用参数-l提交作业，例如: qsub -pe orte 4 -l nodes=4 run.sh 但是，系统显示以下内容: Unable to run job: unknown resource "nodes". 您能告诉我为什么以及如何解决吗? 非常感谢你！解决方案对于Sun Grid Engine，正确的资源参数是h，而不是nodes: ..

发布时间：2020-07-10 03:48:32 sungridengine 其他开发

SGE群集-提交后脚本失败-在终端中工作

我有一个脚本要提交给SGE集群(在Redhat Linux上).脚本的第一部分将完整CWD路径中的当前文件夹定义为要在下游使用的变量: #!/usr/bin/bash # #$ -cwd #$ -A username #$ -M user@server #$ -j y #$ -m aes #$ -N test #$ -o test.log.txt echo 'This is a test. ..

发布时间：2020-07-10 03:47:30 linux bash cluster-computing qsub sungridengine 服务器开发

重定向我的java程序在qsub下的输出

我目前正在使用qsub运行多个Java可执行程序. 我写了两个脚本:1)qsub.sh，2)run.sh qsub.sh #! /bin/bash echo cd `pwd` \; "$@" | qsub run.sh #! /bin/bash for param in 1 2 3 do ./qsub.sh java -jar myProgram.jar -param ..

发布时间：2020-07-10 03:46:27 pbs qsub sungridengine queueing 其他开发

在集群上加载库

发布时间：2020-07-10 03:46:24 c++ boost compilation cluster-computing sungridengine C/C++开发

SGE提交的作业未运行

我在ubuntu 14.04上使用Sun Grid Engine来排队要在多核CPU上运行的作业. 我已经在系统上安装并设置了SGE，但是在测试时遇到了问题.我创建了一个"hello_world"目录，其中包含两个名为"hello_world.sh"的外壳程序脚本. "hello_world_qsub.sh"首先包含一个简单命令，其次包含qsub命令，以提交第一个脚本文件作为要运行的作业. 这是" ..

发布时间：2020-07-10 03:46:22 job-scheduling qsub sungridengine 其他开发

Sun Grid Engine上的超时作业

我正在使用Sun Grid Engine(Linux)运行很多工作.其中一些工作需要很长时间才能运行，而我不知道提前哪个. 我想停止运行超过2个小时的作业.可以使用SGE运行吗?可以从unix外壳上做到吗? 谢谢解决方案如果您自己运行作业，则使用硬挂钟时间. #$ -l h_rt = 2:00:00 时间是hr:min:sec ..

发布时间：2020-07-10 03:45:17 timeout sungridengine 其他开发

在SGE群集问题上的SnakeMake中使用Conda环境

相关:包含Python脚本，conda和群集的SnakeMake规则我一直在尝试设置SnakeMake管道以在SGE群集(qsub)上运行.使用直接安装到计算节点的简单命令或工具，就没有问题. 但是，当我尝试设置SnakeMake来通过SGE节点上的Conda下载工具时出现问题. 我测试的Snakefile是: rule bwa_sge_c_test: conda: ..

发布时间：2020-07-10 03:45:13 python conda qsub sungridengine snakemake Python

强制外壳从SunGrid引擎中的conda变量使用python

我正在尝试在SunGrid引擎中执行python文件，并且正在从anaconda3环境变量中执行该文件. 我的代码很简单: from __future__ import print_function import urllib3 import numpy as np if __name__ == '__main__': print('Hellooo') 我这样称呼它: ..

发布时间：2020-07-10 03:45:12 python linux python-3.x sungridengine 服务器开发

在Grid Engine/Sun Grid Engine/Grid Engine之子上使用Docker

任何人是否有在Grid Engine/Sun Grid Engine/Grid Engine之子上运行Docker的经验，并且能够 SGE是否有其他方法可以在不同的树中跟踪进程的资源(我想不会)? 另一个选择是qsub一个脚本，该脚本首先启动docker守护程序，然后运行所需的docker run命令，以便所有进程都在SGE启动的同一进程树中.这将要求sge具有启动守护程序的权限(root用 ..

发布时间：2020-07-10 03:44:10 process docker sungridengine pstree 其他开发

什么是“千兆秒"?

从qstat(Sun Grid Engine)手册页: mem:当前作业的累计内存使用量，以GB为单位. 那是什么意思? 解决方案我找不到比可以找到该说明的手册页更好的文档.我认为1 GB每秒是1 GB的内存使用了1秒钟.因此，如果您的代码在1分钟内使用1 GB，然后在2分钟内使用2 GB，则累积的内存使用量为1 * 60 + 2 * 120 = 300 GByte秒. ..

发布时间：2020-07-10 03:44:06 qsub sungridengine 其他开发

等待工作完成的有效方法:python和drmaa

我想问一下我正在通过Python使用的drmaa API中的“等待"功能.它是否执行常数qstat(如果我们正在SGE上运行它)来检查程序是否已完成执行. 我们的管理员希望我们避免使用任何恒定的qstat，因为由于调度程序上的额外负载，它会降低性能. 通常，wat是通过DRMAA检查作业状态的有效方法，而不会增加调度程序的负担. 谢谢！ -阿比解决方案从DRMAA A ..

发布时间：2020-07-10 03:44:02 python sungridengine drmaa Python

在没有实际作业文件的情况下提交qsub作业的语法?

我想在不创建离散作业文件的情况下即时提交qsub作业.因此，假设我有一个名为"get_time.py"的python脚本，它仅报告时间.而不是像这样编写提交脚本: cat>job.sub ..

发布时间：2020-07-10 03:43:59 python sungridengine qsub pbs Python

SunGridEngine，Condor，Torque作为PVM的资源管理器

任何人都知道哪种资源管理器适合PVM?还是我不应该使用PVM而是依靠MPI(或其任何版本，例如MPICH-2 [还有其他更好的版本吗?]).使用PVM的主要原因是因为在我之前从事此项目的人开始使用PVM.但是，既然这个项目属于我(他没有做过任何依赖PVM的重要工作)，则可以轻松更改此项目，最好更改为易于安装的项目，因为安装和设置PVM麻烦很大. 我倾向于SunGridEngine，因为我有专 ..

发布时间：2020-07-10 03:43:55 cluster-computing hpc sungridengine pvm 其他开发

具有Python脚本，conda和集群的SnakeMake规则

我想让snakemake通过SGE集群在特定的conda环境下运行Python脚本. 在群集上，我的主目录中安装了miniconda.我的主目录是通过NFS挂载的，因此所有群集节点都可以访问. 因为miniconda在我的主目录中，所以默认情况下conda命令不在操作系统路径上.也就是说，要使用conda，我需要先将其明确添加到路径中. 我有一个conda环境规范作为yaml文件 ..

发布时间：2020-07-10 03:43:51 python conda sungridengine snakemake Python

在sge下从qsub命令中排除节点

我有200多个工作需要提交到sge集群.我将把它们提交给两个问题.其中一位专家有一个我不想向其提交作业的机器.如何排除那台机器?我发现可能唯一有用的是(假设q1可用三个有效节点，q2可用的所有节点均有效): qsub -q q1.q@n1 q1.q@n2 q1.q@n3 q2.q 解决方案对此有一个很好的绕过. 生成一个简单的bash文件: #!/bin/bash sle ..

发布时间：2020-07-10 03:43:47 nodes qsub sungridengine 其他开发

sungridengine相关内容