如何使用并行命令在 MacBook 上利用多核并行性?
我经常在 Linux 和 macOS 上使用 find 命令.我刚刚发现命令 parallel，如果可能的话，我想将它与 find 命令结合起来，因为 find 命令在我们搜索时需要很长时间将特定文件放到大目录中. 我已搜索过此信息，但结果不够准确.似乎有很多可能的语法，但我不知道哪个是相关的. 如何将 parallel 命令与 find 命令(或任何其他命令)结合使用，以便从 Mac
..
gnu-parallel相关内容
GNU 并行根本不工作
我尝试使用 GNU 并行已经有一段时间了，但我从来没有让它运行起来！ 例如，运行(在非空目录中！): ls |parallel echo # 输出单个新行ls |parallel echo echo echo # 输出三个新行.ls |并行回声 {} #/bin/bash: {}: 命令未找到ls |并行回显 '{}' #/bin/bash: {}: 命令未找到ls |并行 'echo {
..
Parallel:如何从函数中引用多个参数
我有这个函数，我需要它从使用 GNU 并行的函数中引用多个参数. foo(){cd ${HOME}/sh/xxx/xxx/xxx/folder_with_scriptsbash -H $1 #replace with echo in test run {echo $1 is being echoed}bash -H $2 #replace with echo in test run {echo
..
zsh 和并行:如何使用函数.它说找不到命令
我有一个脚本文件 文件名:test_sem_zsh.sh main() {回声“快乐的一天"}导出 -f 主sem --id 测试 --fg 主 我正在尝试使用 zsh 运行它 $ zsh test_sem_zsh.shtest_sem_zsh.sh:export:4: 无效选项zsh:1:找不到命令:main 它说两个错误的 1) main command not found 和
..
使用并行方式调用 shell 函数，并使用带引号的文件名列表作为输入
使用 Bash. 我有一个导出的 shell 函数，我想将其应用于许多文件. 通常我会使用 xargs，但语法是这样的(参见 此处)太难看了. ...... |xargs -n 1 -P 10 -I {} bash -c 'echo_var "$@"' _ {} 在那次讨论中，parallel 有一个更简单的语法: ..... |并行 -P 10 echo_var {
..
Unix命令的并行执行?
我编写了一个使用 csplit 自动将文件分成 4 部分的 shell 程序，然后使用 nohup 在后台执行相同命令的四个 shell 程序和一个 while 循环将寻找这四个过程的完成情况最后cat output1.txt ....output4.txt > finaloutput.txt 但是后来我开始了解这个命令 parallel 并且我用大文件尝试了这个，但看起来它没有按预期工作.
..
在管道中使用 GNU 并行
从文件读取时运行以下命令执行我想要的操作: parallel --gnu -j2 "echo {} && sleep 5"
..
GNU并行内的Perl命令?
我正在尝试并行运行: parallel perl -pe '!/^step/&&s/(\S+)/sprintf("%.2e", $1)/ge' {} >{}.使固定 ::: * 也就是说，我想对当前目录中的所有文件并行执行 perl 命令.这不起作用，但我不知道为什么. 注释:perl 命令正在修复表中的浮点数.请参阅替换现有文件中浮点数的精度. 解决方案 在 Bash 中你可以
..
Gnu Parallel:嵌套并行
是否可以在由 gnu parallel 生成的脚本的多次运行中调用 gnu parallel? 我有一个 python 脚本，可以运行 100 次 顺序 迭代，并且在每次迭代中的某个地方，并行计算 4 个值(使用 gnu 并行).现在我想再次使用 gnu parallel 同时生成多个这样的脚本.这可能吗?gnu parallel 会很好地利用可用内核吗? 例如，如果在内循环中，4 个
..
GNU Parallel:如何从零开始作业编号替换字符串
我对使用GNU并行并将多GB CSV数据库导出文件拆分为可管理的块的速度感到非常满意.但是，我遇到的问题是我希望输出文件名的格式为 some_table.csv.part_0000.csv 和从零开始(导入工具需要这样做).获得"0001"是一个挑战，但是我设法使用printf实现了这一点.我不能减少工作量. 我的命令: FILE = some_table;并行-v --joblog
..
bash流程替换中的GNU并行参数占位符
我有以下GNU并行命令. parallel --gnu --jobs 4 \通过median.py进行归一化-k 20 -C 20-配对-N 4 -x 6e9 \--out pdom-{}-diginorm.fq \pdom-{}.fq.gz \::: 200bp 500bp 1kb 3kb 8kb 我想在写入磁盘之前压缩输出.通常，我只是将其通过管道发送到 gzip -c ，但是不幸的是
..
优化我的脚本以查找大压缩文件
我又在这里！我想优化我的bash脚本，以减少每个循环所花费的时间.基本上它是做什么的: 从tsv获取信息 使用该信息通过awk查找文件 打印并导出行 我的问题是:1)这些文件是60GB的压缩文件:我需要一个软件来解压缩它(我实际上正在尝试解压缩它，不确定我是否有足够的空间)2)反正要花很长的时间 我的改进建议: 0)，如果可能，我将解压缩文件 将GNU并行与 pa
..
并行bash循环
我正在尝试并行运行此脚本，因为每组中i runspr.py 本身是并行的，这样就可以了.我想做的是在任何情况下都只运行4个i循环. 在我当前的代码中，它将运行所有内容. #！bin/bash为我在*做如果[[-d $ i]];然后echo"$ i id dir"cd $ ipython3〜/bin/runspr.py SCF&光盘..别的回声"$ i nont dir"科幻完毕 我关注
..
GNU Parallel:将文件拆分为子代
目标 使用GNU Parallel将一个较大的.gz文件拆分为子代.由于服务器具有16个CPU，因此请创建16个子代.每个孩子最多应包含N行.在此，N ＝ 104,214,420线.儿童应为.gz格式. 输入文件 名称:file1.fastq.gz 大小:39 GB 行数:1,667,430,708(未压缩) 硬件 36 GB内存 16个CPU HPCC环境(
..
如何与多个变量并行运行多个curl请求
设置 我目前使用以下脚本，使用具有多个变量的ref文件下载具有 curl 的文件.当我创建脚本时，它满足了我的需求，但是由于ref文件变得越来越大，并且我通过 curl 请求的数据需要花费更长的时间生成，因此我的脚本现在花费了太多的时间来完成./p> 客观 我希望能够更新此脚本，以便我有 curl 请求并在准备就绪时下载多个文件-而不是等待依次请求和下载每个文件. 我环顾四周，
..
并行运行bash for循环
我有一个脚本，该脚本在本地保管库系统中为每个主机执行凭据查找，然后为其运行ansible-playbook. #！/bin/bash用于`cat〜/.ansible/hosts`中的主机做SECRET =`/opt/vault/bin/get-admin-credential --tag = $ host`HOST =`echo $ SECRET |切-d';'-f1`LOGIN =`echo
..
从bash中的txt文件中多次读取(并行处理)
这是一个用于HTTP状态代码的简单bash脚本 同时读取网址做urlstatus = $(curl -o/dev/null --silent --head --write-out'％{http_code}'"$ {url}" --max-time 5)回声"$ url $ urlstatus">>urlstatus.txt完成
..
GNU parallel --jobs选项在群集上使用多个节点，每个节点具有多个cpus
我正在使用gnu并行在每个节点有2个CPU的高性能(HPC)计算群集上启动代码.该集群使用TORQUE便携式批处理系统(PBS).我的问题是澄清在这种情况下GNU parallel的--jobs选项如何工作. 当我运行不带--jobs选项的，调用GNU parallel的PBS脚本时，如下所示: #PBS -lnodes=2:ppn=2 ... parallel --env $PBS_
..
如何在Windows 7中让GNU并行运行git bash?
通过遵循 answer ，我能够在git-bash中全局安装GNU Parallel. 但是，在运行 parallel-tutorial parallel -k echo ::: A B C > abc-file 我不断收到此错误 sh: -c: option requires an argument sh: -c: option requires an argument sh:
..
修改gupdatedb(GNU Updatedb命令)以插入并行命令
我正在使用安装有brew的findutils软件包中的工具glocate和gupdatedb在MacOS 10.15上工作. 我想将shell命令"parallel"集成到命令行中.进入脚本 gupdatedb进入以便更快地建立数据库. 在脚本gupdatedb命令的原始版本中，我得到了: : ${find:=${BINDIR}/gfind} 1)我试图在上述命令中插入par
..