作业在 Cloudera 5.1 下的 LocalJobRunner 中持续运行 [英] Job keeps running in LocalJobRunner under Cloudera 5.1

问题描述

需要一些快速帮助.我们的作业在 MapR 下运行良好，但是当我们在 Cloudera 5.1 上启动相同的作业时，它一直在本地模式下运行.

Need some quick help. Our job runs fine under MapR, but when we start the same job on Cloudera 5.1, it keeps running in Local mode.

我确定这是某种配置问题.它是哪个配置设置?

I am sure this is some kind of configuration issue. Which config setting is it?

14/08/22 12:16:58 INFO mapreduce.Job: map 0% reduce 0%
14/08/22 12:17:03 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:06 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:09 INFO mapred.LocalJobRunner: map > map

谢谢.

推荐答案

问题是 Cloudera 5.1 运行 'Yarn' 分发 &如果你想启动 MapReduce 作业，则在 Yarn 下不应该使用:

Problem was that Cloudera 5.1 runs 'Yarn' distribution & under Yarn if you want to start a MapReduce job you SHOULD NOT use:

java -cp $CLASSPATH CLASSNAME(在 Yarn 下，这将在本地模式下启动作业.)

java -cp $CLASSPATH CLASSNAME (Under Yarn this will start job in the Local mode.)

你必须使用

纱线 -cp $CLASSPATH CLASSNAME

yarn -cp $CLASSPATH CLASSNAME

另外，我学到的另一件事是，您可以通过运行以下命令来获取 HADOOP 类路径:

Also, another thing I learned is that, you can get the HADOOP classpath by running the following command:

yarn 类路径

这篇关于作业在 Cloudera 5.1 下的 LocalJobRunner 中持续运行的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！