Hadoop仅使用主节点来处理数据 [英] Hadoop use only master node for processing data

问题描述

我已经安装了一个Hadoop 2.5集群，其中包含1个主节点（namenode和secondary namenode和datanode）以及2个从节点（datanode）。所有机器都使用Linux CentOS 7 - 64位。当我运行我的MapReduce程序（wordcount）时，我只能看到主节点正在使用额外的CPU和RAM。从节点不做任何事情。

我检查了所有namenode中的日志，从节点上没有任何错误。资源管理器正在运行，所有从节点都可以看到资源管理器。
Datanodes正在分布式数据存储方面工作，但我看不到任何分布式数据处理的迹象。我是否需要以其他方式配置xml配置文件，以便在运行MapReduce作业时所有机器都能处理数据？

谢谢

解决方案

确保你在IP地址的Masternode网络文件上的daanodes。此外，群集中的每个节点都应该包含其他机器的IP地址。
除此之外，如果包含文件包含相关datanode条目，则检查包含文件。

I've setup a Hadoop 2.5 cluster with 1 master node(namenode and secondary namenode and datanode) and 2 slave nodes(datanode).All of the machines use Linux CentOS 7 - 64bit. When I run my MapReduce program (wordcount), I can only see that master node is using extra CPU and RAM. Slave nodes are not doing a thing.

I've checked the logs from all of the namenode and there is nothing wrong on slave nodes. Resource Manager is running and all of the slave nodes can see the Resource Manager. Datanodes are working in terms of distributed data storing but I can't see any indication of distributed data processing. Do I have to configure the xml configuration files in some other way so all of the machines will process data while I'm running my MapReduce Job?

Thank you

解决方案

Make sure you are mentioaning the IP's Addresses of the daanodes on the Masternode networking files. Also each node in the cluster is supposed to contain IP address of the other machines. Besides that check the includes file if it contains the relevant datanodes entry onto it or not.

这篇关于Hadoop仅使用主节点来处理数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！