hadoop / hdfs / name处于不一致的状态：存储目录（hadoop / hdfs / data /）不存在或不可访问 [英] hadoop/hdfs/name is in an inconsistent state: storage directory(hadoop/hdfs/data/) does not exist or is not accessible

问题描述

我已经尝试了关于此主题在stackoverflow上提供的所有不同解决方案，但没有帮助
再次询问具体日志和详细信息

任何帮助表示赞赏

我的Hadoop集群中有一个主节点和5个从节点。 ubuntu用户和ubuntu组是〜/ Hadoop 文件夹的所有者
〜/ hadoop / hdfs / data & 〜/ hadoop / hdfs / name 文件夹存在

并且这两个文件夹的权限都设置为 755

在启动脚本之前成功地对namenode进行了格式化 start-all.sh

脚本无法启动NAMENODE

它们在主节点

  ubuntu @ master：〜/ hadoop / bin $ jps 
 
 7067 TaskTracker 
 6914 JobTracker 
 7237 Jps 
 6834 SecondaryNameNode 
 6682 DataNode 
 
 ubuntu @ slave5：〜/ hadoop / bin $ jps 
 
 31438 TaskTracker 
 31581 Jps 
 31307 DataNode 
  

以下是来自名称节点日志文件的日志。

  .......... 
 .......... 
。 ........ 
 
 014-12-03 12：25：45,460 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter：注册源jvm的MBean。 
 2014-12-03 12：25：45,461 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter：已注册源NameNode的MBean。 
 2014-12-03 12：25：45,532 INFO org.apache.hadoop.hdfs.util.GSet：计算映射BlocksMap的容量
 2014-12-03 12：25：45,532 INFO org.apache .hadoop.hdfs.util.GSet：VM type = 64-bit 
 2014-12-03 12：25：45,532 INFO org.apache.hadoop.hdfs.util.GSet：2.0％max memory = 1013645312 
 2014-12-03 12：25：45,532信息org.apache.hadoop.hdfs.util.GSet：capacity = 2 ^ 21 = 2097152条目
 2014-12-03 12：25：45,532信息组织apache.hadoop.hdfs.util.GSet：recommended = 2097152，actual = 2097152 
 2014-12-03 12：25：45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem：fsOwner = ubuntu 
 2014-12-03 12：25：45,588信息org.apache.hadoop.hdfs.server.namenode.FSNamesystem：supergroup = supergroup 
 2014-12-03 12：25：45,588 INFO org.apache。 hadoop.hdfs.server.namenode.FSNamesystem：isPermissionEnabled = true 
 2014-12-03 12：25：45,622 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem：dfs.block.invalidate.limit = 100 
 2014-12-03 12：25：45,623 INFO org.apache.hadoop.hdf s.server.namenode.FSNamesystem：isAccessTokenEnabled = false accessKeyUpdateInterval = 0 min（s），accessTokenLifetime = 0 min（s）
 2014-12-03 12：25：45,716 INFO org.apache.hadoop.hdfs.server .namenode.FSNamesystem：Registered FSNamesystemStateMBean和NameNodeMXBean 
 2014-12-03 12：25：45,777 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog：dfs.namenode.edits.toleration.length = 0 
 2014-12-03 12：25：45,777 INFO org.apache.hadoop.hdfs.server.namenode.NameNode：缓存超过10次的文件名
 2014-12-03 12：25：45,785 INFO org.apache.hadoop.hdfs.server.common.Storage：存放目录/ home / ubuntu / hadoop / file：/ home / ubuntu / hadoop / hdfs / name不存在
 2014-12-03 12： 25：45,787错误org.apache.hadoop.hdfs.server.namenode.FSNamesystem：FSNamesystem初始化失败。 
 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException：目录/ home / ubuntu / hadoop / file：/ home / ubuntu / hadoop / hdfs / name处于不一致状态：存储目录不存在或不可访问。 
 at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead（FSImage.java:304）
 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage（FSDirectory。 java：104）
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize（FSNamesystem.java:427）
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem。 < init>（FSNamesystem.java:395）
 at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize（NameNode.java:299）
 at org.apache.hadoop.hdfs .server.namenode.NameNode。< init>（NameNode.java:569）
 at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode（NameNode.java:1479）
 at org.apache.hadoop.hdfs.server.namenode.NameNode.main（NameNode.java:1488）
 2014-12-03 12：25：45,801错误org.apache.hadoop.hdfs.server.namenode.NameNode ：/ home / ubuntu / hadoop / hdfs / name处于不一致状态：存储目录不存在或不可访问。 
 at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead（FSImage.java:304）
 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage（FSDirectory。 java：104）
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize（FSNamesystem.java:427）
 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem。 < init>（FSNamesystem.java:395）
 at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize（NameNode.java:299）
 at org.apache.hadoop.hdfs .server.namenode.NameNode。< init>（NameNode.java:569）
 at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode（NameNode.java:1479）
 at org.apache.hadoop.hdfs.server.namenode.NameNode.main（NameNode.java:1488）
  

解决方案

从hdfs-site.xml文件中移除file：

$ b

[WRONG HDFS-SITE.XML] p>

 <属性> 
<名称> dfs.namenode.name.dir< /名称> 
<值>文件：/ home / hduser / mydata / hdfs / namenode< / value> 
< / property> 
<属性> 
< name> dfs.datanode.data.dir< / name> 
<值>文件：/ home / hduser / mydata / hdfs / datanode< / value> 
< / property> 
  

<正确HDFS-SITE.XML>

 < property> 
<名称> dfs.namenode.name.dir< /名称> 
< value> / home / hduser / mydata / hdfs / namenode< / value> 
< / property> 
 
 
<属性> 
< name> dfs.datanode.data.dir< / name> 
<值> / home / hduser / mydata / hdfs / datanode< /值> 
< / property> 
  

感谢 Erik 寻求帮助。

I have tried all the different solutions provided at stackoverflow on this topic, but of no help Asking again with the specific log and the details

Any help is appreciated

I have one master node and 5 slave nodes in my Hadoop cluster. ubuntu user and ubuntu group is the owner of the ~/Hadoop folder Both the ~/hadoop/hdfs/data & ~/hadoop/hdfs/name folder exist

and permission for both the folders are set to 755

successfully formated the namenode before starting the script start-all.sh

THE SCRIPT FAILS TO LAUNCH THE "NAMENODE"

These are running at the master node

ubuntu@master:~/hadoop/bin$ jps

7067 TaskTracker
6914 JobTracker
7237 Jps
6834 SecondaryNameNode
6682 DataNode

ubuntu@slave5:~/hadoop/bin$ jps

31438 TaskTracker
31581 Jps
31307 DataNode

Below is the log from name-node log files.

..........
..........
.........

014-12-03 12:25:45,460 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2014-12-03 12:25:45,461 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: Computing capacity for map BlocksMap
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: 2.0% max memory = 1013645312
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2014-12-03 12:25:45,532 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2014-12-03 12:25:45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=ubuntu
2014-12-03 12:25:45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup
2014-12-03 12:25:45,588 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2014-12-03 12:25:45,622 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2014-12-03 12:25:45,623 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
2014-12-03 12:25:45,716 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2014-12-03 12:25:45,777 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
2014-12-03 12:25:45,777 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2014-12-03 12:25:45,785 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name does not exist
2014-12-03 12:25:45,787 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:304)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
2014-12-03 12:25:45,801 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/ubuntu/hadoop/file:/home/ubuntu/hadoop/hdfs/name is in an inconsistent state: storage directory does not exist or is not accessible.
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:304)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)

解决方案

Removed the "file:" from the hdfs-site.xml file

[WRONG HDFS-SITE.XML]

  <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
  </property>

[CORRECT HDFS-SITE.XML]

  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/hduser/mydata/hdfs/namenode</value>
  </property>


  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/hduser/mydata/hdfs/datanode</value>
  </property>

Thanks to Erik for the help.

这篇关于hadoop / hdfs / name处于不一致的状态：存储目录（hadoop / hdfs / data /）不存在或不可访问的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！