猪脚本中的加载操作是顺序还是并行? [英] Load operations in pig script sequential or parallel?
问题描述
我在猪脚本中有 2 个加载语句,如下所示:
I have 2 load statements in a pig script as below:
a=load 'file1.dat' 使用 HCatLoader();
a=load 'file1.dat' using HCatLoader();
b=load 'file2.dat' 使用 HcatLoader();
b=load 'file2.dat' using HcatLoader();
在这些之后,我分别对 a 和 b 进行了一些转换.如果我们以批处理模式运行这个 pig 脚本,两个文件的加载和转换是顺序发生还是并行发生?我在想 pig 优化了这个脚本并并行运行两个负载.但不是 100% 肯定.任何人都可以对此发表评论吗?
After these, I have some transformations on a and b seperately. If we run this pig script in batch mode, does the load and transformations of both files happen sequentially or in parallel? I was thinking that pig optimises this script and runs both the loads in parallel. But not 100% sure. Can anyone comment on this?
推荐答案
每个加载命令将并行运行,但 pig 脚本中的命令将串行运行.
Each load command will run in parallel, but the commands in pig script will run serial.
这篇关于猪脚本中的加载操作是顺序还是并行?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!