在 hadoop 的一个流作业中使用多个映射器输入? [英] Using multiple mapper inputs in one streaming job on hadoop?

问题描述

在java中我会使用:

In java I would use:

MultipleInputs.addInputPath(conf, path, inputFormatClass, mapperClass)

MultipleInputs.addInputPath(conf, path, inputFormatClass, mapperClass)

为每个输入添加不同的映射器.

to add multiple inputs with a different mapper for each.

现在我用python在hadoop中写了一个streaming job，可以做类似的工作吗?

Now I am using python to write a streaming job in hadoop, can a similiar job be done?

推荐答案

您可以使用多个 -input 选项来指定多个输入路径:

You can use multiple -input options to specify multiple input paths:

hadoop jar hadoop-streaming.jar -input foo.txt -input bar.txt ...

这篇关于在 hadoop 的一个流作业中使用多个映射器输入?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！