如何使用多个映射器为多输入路径配置oozie工作流 [英] How to configure oozie workflow for multi-input path with multiple mappers

问题描述

任何人都可以帮助我使用Map-Reduce操作配置工作流程，这需要多个输入路径，每个输入路径都与一个Mapper关联，就像MultipleInputs.addInputPath api采用输入路径和映射器一样。

Can any one help me in configuring a work flow with Map-Reduce action, that takes multiple input paths each input path is associated to one Mapper as like MultipleInputs.addInputPath api takes input path and a mapper. The out put of these mappers will be given to reducer.

我用java操作尝试了这个，但它只会执行一个map任务。但在这里输入路径包含巨大的数据，所以在这种情况下，java行为不会成为我们。

I tried this with java action, but it will execute only one map task. But here input path contains huge data, so java action will not us in this case.

有没有办法处理这种情况？

Is there any way in handling this case?

问候，
Krish。

Regards, Krish.

推荐答案

在工作流程中，您可以给一个逗号分隔的列表输入目录位于 mapred.input.dir 中。这将使这些目录中的文件在不同的映射器上运行。

In the workflow you can give a comma separated list of input directories in mapred.input.dir . This will make the files in those directories to run on different mappers.

这篇关于如何使用多个映射器为多输入路径配置oozie工作流的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！