哈多普有超过120个计数器 [英] More than 120 counters in hadoop

问题描述

Hadoop计数器大小有一个限制。默认为120。我尝试使用配置mapreduce.job.counters.limit来改变它，但它不起作用。我见过源代码。这就像在类org.apache.hadoop.mapred.Counters中的JobConf实例是私有的。
以前有人看过吗？你的解决方案是什么？
THX：）

解决方案

您可以在 mapred-site.xml 在您的JT，TT，客户端节点上，但确保这将是一个系统范围的修改：

 <结构> 
 ... 
<属性> 
< name> mapreduce.job.counters.limit< / name> 
<值> 500< /值> 
< / property> 
 ... 
< / configuration> 
  

然后重新启动群集上的mapreduce服务。

There's a limit for Hadoop counter size. It's 120 by default. I try to use the configuration "mapreduce.job.counters.limit" to change that, but it doesn't work. I've seen the source code. It's like the instance of JobConf in class "org.apache.hadoop.mapred.Counters" is private. Have anybody seen that before? What's your solution? THX :)

解决方案

You can override that property in mapred-site.xml on your JT, TT, client nodes but make sure that this will be a system-wide modification:

<configuration>
  ...
  <property>
    <name>mapreduce.job.counters.limit</name>
    <value>500</value>
  </property>
  ...
</configuration>

Then restart the mapreduce service on your cluster.

这篇关于哈多普有超过120个计数器的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！