org.apache.hadoop.mapreduce.counters.LimitExceededException：太多计数器：121 max = 120 [英] org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many counters: 121 max=120

问题描述

我得到如下错误：
org.apache。

我正在运行一个hadoop作业（来自oozie），它有很少的计数器和多输出。 hadoop.mapreduce.counters.LimitExceededException：计数器太多：121 max = 120

然后我删除了所有有计数器的代码，并且将mout.setCountersEnabled设置为false。
并且将hadoop配置中的最大计数器设置为240.

现在我仍然得到相同的错误
org.apache.hadoop.mapreduce。 counters.LimitExceededException：计数器太多：241 max = 240

我该如何解决这个问题？
是否有任何隐藏计数器存在的可能性？
我怎样才能清楚之前有什么柜台超过240？（这个过程看起来像停止之前，我可以打印任何东西？）

谢谢，
Xinsong 解决方案我使用以下方法解决了这个问题：
vi $ HADOOP_HOME / conf / mapred-site.xml p>

 <属性> 
<名称> mapreduce.job.counters.limit< / name> 
<！ - <值> 120< /值>  - > 
<值> 20000< /值> 
< description>限制每个作业允许的计数器数量。默认值是200.< / description> 
< / property> 
  

I'm running a hadoop job ( from oozie ） that has few counters, and multioutput.

I get error like: org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many counters: 121 max=120

Then I removed all the code that has counters, and also set mout.setCountersEnabled to false. And also set the max counters to 240 in hadoop config.

Now I still get the same error org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many counters: 241 max=240

How can I solve this problem? Is there any possibility that any hidden counters exists? How can I make clear what counters there before exceeds 240 ? (The process looks like stopped before I can print anything? )

Thanks, Xinsong

解决方案

I solved the problem use the following method: vi $HADOOP_HOME/conf/mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <!--<value>120</value>-->
   <value>20000</value>
    <description>Limit on the number of counters allowed per job. The default value is 200.</description>
</property>

这篇关于org.apache.hadoop.mapreduce.counters.LimitExceededException：太多计数器：121 max = 120的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！