Datanode守护进程不在Hadoop 2.5.0上运行 [英] Datanode daemon not running on Hadoop 2.5.0

查看：123
本文介绍了Datanode守护进程不在Hadoop 2.5.0上运行的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

我在单台机器上设置Hadoop 2.5.0，我遇到了未运行的datanode问题，如jps命令的输出所示：

 $ 3404 $ $ $ $ $ 2661 NodeManager 
 2606 ResourceManager 
 2484 NameNode

当我尝试手动运行时，我得到了这个结果： 

  $ HADOOP_HOME / sbin / hadoop-daemon.sh启动datanode 
启动datanode，记录到/home/arbi/Programs/hadoop-2.5.0/logs/hadoop-arbi-datanode-ElOued.out

然后还是没有，这里是 hadoop-arbi-datanode-ElOued.out <

pre $ ul $ c $ ulimit -a用户arbi
核心文件大小（块，-c）0
数据段大小（千字节，-d）无限
调度优先级（-e）0
文件大小（块，-f）无限
待处理信号（-i）15862
最大锁定内存（千字节，-1）64
最大内存大小e（千字节，-m）无限制
打开文件（-n）1024
管道大小（512字节，-p）8
POSIX消息队列（字节，-q）819200
实时优先级（-r）0
堆栈大小（千字节，-s）8192
cpu时间（秒，-t）无限
最大用户进程（-u）15862
虚拟内存（kbytes，-v）无限制
文件锁定（-x）无限制

同样在 http://oued.souf.dz:50070/dfshealth.html#



当我提交hadoop作业时，我看到以下异常：

  14/08/26 17:41:59 WARN mapreduce.JobSubmitter：未执行Hadoop命令行选项解析。实施工具界面并使用ToolRunner执行您的应用程序以解决此问题。 
 14/08/26 17:41:59 WARN hdfs.DFSClient：DataStreamer异常org.apache.hadoop.ipc.RemoteException（java.io.IOException）：File / tmp / hadoop-yarn / staging / arbi / .staging / job_1409065677616_0001 / job.jar只能复制到0节点而不是minReplication（= 1）。有0个数据节点正在运行，并且在此操作中不包含任何节点。 
 at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget（BlockManager.java:1471）
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock（FSNamesystem。 Java的：2791）在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock（NameNodeRpcServer.java:606 
）
在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock（ ClientNamenodeProtocolServerSideTranslatorPB.java:455）
 at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java）
 at org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:585）
 at org.apache.hadoop.ipc.RPC $ Server.call（RPC.java:928）
 at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2013）
 at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2009）
 at java.security.AccessController.doPrivileged （Native Method）$ java 
。 security.auth.Subject.doAs（Subject.java:415）
 at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1614）
 at org.apache.hadoop.ipc。 Server $ Handler.run（Server.java:2007）
 
 at org.apache.hadoop.ipc.Client.call（Client.java:1411）
 at org.apache.hadoop。 ipc.Client.call（Client.java:1364）
 at org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke（ProtobufRpcEngine.java:206）
 at com.sun.proxy。$ Proxy14在sun.reflect.NativeMethodAccessorImpl.invoke .addBlock（来源不明）在sun.reflect.NativeMethodAccessorImpl.invoke0 
（本机方法）
（NativeMethodAccessorImpl.java:57）
。在sun.reflect。 DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod（ RetryInvocationHandler.java:187）
 at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke（RetryInvocationHandler.java:102）
 at com.sun .proxy。$ Proxy14.addBlock（Unknown Source）
 at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock（ClientNamenodeProtocolTranslatorPB.java:368）
 at org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.locateFollowingBlock（DFSOutputStream.java:1449）
 at org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.nextBlockOutputStream（DFSOutputStream.java:1270）
 at org.apache.hadoop.hdfs.DFSOutputStream $ DataStreamer.run（DFSOutputStream.java:526）

这是日志文件的快照datanode：

  2014-08-27 10：45：05,136 INFO org.apache.hadoop.hdfs.server.common.Storage ：锁定/home/arbi/Programs/hadoop-2.5.0/hdfs/datanode/in_use.lock由nodename获取4825 @ E​​lOued 
 2014-08-27 10：45：05,146 FATAL org.apache.hadoop。 hdfs.server.datanode.DataNode：块池初始化失败<注册> （Datanode Uuid unassigned）服务到localhost / 127.0.0.1：8020。退出。 
 java.io.IOException的：在不兼容的/home/arbi/Programs/hadoop-2.5.0/hdfs/datanode clusterIDs：名称节点丛集编号= CID-be9e77bc-dce9-4001-b7e8-947feea5c3ad;数据管理部丛集编号= CID-e26b44b4-deb0-4c22-ae94-abe522c4c96c 
。在在org.apache org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition（DataStorage.java:477）
。 hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead（DataStorage.java:226）
在org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead（DataStorage.java:254）
。在org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool（DataNode.java:946）$ org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage（DataNode.java:975）
 
。在org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo（BPOfferService.java:278）
在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake（BPServiceActor.java ：220）
 at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run（BPServiceActor.java:812）
 at java.lang.Thread.run（Thread.java:744）
 2014-08-27 10：45：05,158 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：结束块池服务于：块池<注册> （Datanode Uuid unassigned）service localhost / 127.0.0.1：8020 
 2014-08-27 10：45：05,168信息org.apache.hadoop.hdfs.server.datanode.DataNode：已删除块池<注册> （Datanode Uuid unassigned）
 2014-08-27 10：45：07,169 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：退出Datanode 
 2014-08-27 10：45：07,170 INFO org.apache.hadoop.util.ExitUtil：以状态0退出
 2014-08-27 10：45：07,170 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：SHUTDOWN_MSG：
 / ******************* *********** 
 SHUTDOWN_MSG：关闭ElOued的DataNode / 192.168.2.206 
 ******************** **************************************** / 
 中的hadoop目录解决了这个问题，只是在终端中
 
 
 > 
 
 
  sudo rm -r / tmp / hadoop-< username> 
  
然后格式化文件系统并启动NameNode和DataNode 
 now 
  ***** @ *****：/ usr / local / hadoop $ jps 
 19013 SecondaryNameNode 
 18823 DataNode 
 19158 Jps 
 18701 NameNode 
  
 
I'm setting Hadoop 2.5.0 on a single machine, I'm having problem with the datanode that is not running as shown by the jps command's output:
$ jps
3404 Jps
2661 NodeManager
2606 ResourceManager
2484 NameNode

When I try to run it manually I got this:
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /home/arbi/Programs/hadoop-2.5.0/logs/hadoop-arbi-datanode-ElOued.out

Then still nothing, here is the content of hadoop-arbi-datanode-ElOued.out:
ulimit -a for user arbi
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 15862
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 15862
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Also in http://oued.souf.dz:50070/dfshealth.html#tab-datanode there is no datanode that can be seen.



And when I submit hadoop jobs I see the following exception:
14/08/26 17:41:59 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
14/08/26 17:41:59 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hadoop-yarn/staging/arbi/.staging/job_1409065677616_0001/job.jar could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1471)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2791)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:606)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:455)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

at org.apache.hadoop.ipc.Client.call(Client.java:1411)
at org.apache.hadoop.ipc.Client.call(Client.java:1364)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy14.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy14.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:368)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1449)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1270)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:526)

This is a snapshot of the log file of the datanode:
2014-08-27 10:45:05,136 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/arbi/Programs/hadoop-2.5.0/hdfs/datanode/in_use.lock acquired by nodename 4825@ElOued
2014-08-27 10:45:05,146 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020. Exiting. 
java.io.IOException: Incompatible clusterIDs in /home/arbi/Programs/hadoop-2.5.0/hdfs/datanode: namenode clusterID = CID-be9e77bc-dce9-4001-b7e8-947feea5c3ad; datanode clusterID = CID-e26b44b4-deb0-4c22-ae94-abe522c4c96c
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:477)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:226)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:254)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:975)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:946)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:278)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:812)
at java.lang.Thread.run(Thread.java:744)
2014-08-27 10:45:05,158 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020
2014-08-27 10:45:05,168 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
2014-08-27 10:45:07,169 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-08-27 10:45:07,170 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2014-08-27 10:45:07,170 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at ElOued/192.168.2.206
************************************************************/



 解决方案 
I solved this problem by removing hadoop directory in tmp
just in terminal
sudo rm -r /tmp/hadoop-<username>

then Format the filesystem and Start NameNode and DataNode
now 
*****@*****:/usr/local/hadoop$ jps
19013 SecondaryNameNode
18823 DataNode
19158 Jps
18701 NameNode



                        
这篇关于Datanode守护进程不在Hadoop 2.5.0上运行的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
相关文章
Java开发最新文章
热门教程
热门工具
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆