Windows上的Hadoop。 YARN无法以java.lang.UnsatisfiedLinkError开头 [英] Hadoop on Windows. YARN fails to start with java.lang.UnsatisfiedLinkError

问题描述

我在Windows上安装/配置Hadoop hadoop-2.7.0

我可以成功启动sbin \ start-dfs运行命令。 DataNode和NameNode已启动。
我可以创建目录，将文件添加到hadoop系统。

但现在当我在resourcemanager窗口尝试sbin / start-yarn时，我看不到错误。但它在yarn的namenode上失败了

失败并出现此错误： -

  15/06/21 17:26:49 INFO impl.MetricsConfig：从hadoop-metrics加载的属性
 2.properties 
 15/06/21 17:26:49 INFO impl.MetricsSystemImpl ：计划的快照期限为10秒（s）。 
 15/06/21 17:26:49信息impl.MetricsSystemImpl：NodeManager度量系统启动
 15/06/21 17:26:49 FATAL nodemanager.NodeManager：启动NodeManager时出错
 java .lang.UnsatisfiedLinkError：org.apache.hadoop.io.nativeio.NativeIO $ Windows.createDirectoryWithMode0（Ljava /郎/字符串; I）V 
。在org.apache.hadoop.io.nativeio.NativeIO $ Windows.createDirectoryWithMode0 （本机方法）维持在org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode（RawLocalFileSystem org.apache.hadoop.io.nativeio.NativeIO $ Windows.createDirectoryWithMode（NativeIO.java:524）
 
。的java：在org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission（RawLocalFileSystem.java:526 473）
）
。在org.apache.hadoop.fs.RawLocalFileSystem.mkdirs（RawLocalFileSystem.java:504）在org.apache.hadoop.fs.FileSystem.primitiveMkdir（FileSystem.java:1064）
 
在org.apache.hadoop.fs.DelegateToFileSystem.mkdir（DelegateToFileSystem.java:161）
在org.apache.hadoop.fs.FilterFs.mkdir（FilterFs.java:197）
 at org.apache.hadoop.fs.FileContext $ 4.next（FileContext.java:730）
 at org。 apache.hadoop.fs.FileContext $ 4.next（FileContext.java:726）
 at org.apache.hadoop.fs.FSLinkResolver.resolve（FSLinkResolver.java:90）
 at org.apache.hadoop .fs.FileContext.mkdir（FileContext.java:726）
 at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.createDir（DirectoryCollection.java:365）
 at org.apache.hadoop .yarn.server.nodemanager.DirectoryCollection.createNonExistentDirs（DirectoryCollection.java:199）
在org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.serviceInit（LocalDirsHandlerService.java:152）
。在组织.apache.hadoop.service.AbstractService.init（AbstractService.java:163）
 at org.apache.hadoop.service.CompositeService.serviceInit（CompositeService.java:107）
 at org.apache.hadoop .yarn.server.nodeman ager.NodeHealthCheckerService.serviceInit（NodeHealthCheckerService.java:48）
位于org.apache.hadoop.service.AbstractService.init（AbstractService.java:163）
位于org.apache.hadoop.service.CompositeService。 serviceInit（CompositeService.java:107）
位于org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit（NodeManager.java:254）
位于org.apache.hadoop.service.AbstractService。 init（AbstractService.java:163）
 at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager（NodeManager.java:463）
 at org.apache.hadoop.yarn.server。 nodemanager.NodeManager.main（NodeManager.java:511）
 15/06/21 17:26:49 INFO impl.MetricsSystemImpl：停止NodeManager度量系统... 
 15/06/21 17:26 ：49 INFO impl.MetricsSystemImpl：NodeManager度量标准系统已停止。 
 15/06/21 17:26:49 INFO impl.MetricsSystemImpl：NodeManager度量标准系统关闭完成。 
 15/06/21 17:26:49 INFO nodemanager.NodeManager：SHUTDOWN_MSG：
 / ************************ ************************************ 
 SHUTDOWN_MSG：在idea-PC / 27.4.177.205 
 ******************************************* ***************** / 
  

我曾遇到过类似的问题，而sbin \ start-dfs。我尝试了不同的事情。看起来好像当我在路径中添加hadoop的bin和sbin时已经解决了。

你能否提出针对纱线问题的解决方案。

解决方案

如果您查看天然该方法是在这里错过，你会看到它最近被添加。

所以这个错误意味着你使用了更新版本的Hadoop，但是你的hadoop.dll来自旧版本的Hadoop。

因此，检索/构建一个较新的hadoop.dll或降级Hadoop应该避免这个问题。

对我来说降级到Hadoop 2.3.0的确有诀窍。

I have installed/configured Hadoop on windows hadoop-2.7.0

I could successfully start "sbin\start-dfs" run command. DataNode and NameNode started. I could create directory, add file into hadoop system.

But now when I try "sbin/start-yarn" on "resourcemanager" window I do not see error. But it failes on yarn's "namenode"

it fails with this error :-

15/06/21 17:26:49 INFO impl.MetricsConfig: loaded properties from hadoop-metrics
2.properties
15/06/21 17:26:49 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
15/06/21 17:26:49 INFO impl.MetricsSystemImpl: NodeManager metrics system started
15/06/21 17:26:49 FATAL nodemanager.NodeManager: Error starting NodeManager
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:473)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:526)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:504)
        at org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:1064)
        at org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:161)
        at org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:197)
        at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:730)
        at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:726)
        at org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90)
        at org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:726)
        at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.createDir(DirectoryCollection.java:365)
        at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.createNonExistentDirs(DirectoryCollection.java:199)
        at org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.serviceInit(LocalDirsHandlerService.java:152)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.nodemanager.NodeHealthCheckerService.serviceInit(NodeHealthCheckerService.java:48)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:254)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:463)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:511)
15/06/21 17:26:49 INFO impl.MetricsSystemImpl: Stopping NodeManager metrics system...
15/06/21 17:26:49 INFO impl.MetricsSystemImpl: NodeManager metrics system stopped.
15/06/21 17:26:49 INFO impl.MetricsSystemImpl: NodeManager metrics system shutdown complete.
15/06/21 17:26:49 INFO nodemanager.NodeManager: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NodeManager at idea-PC/27.4.177.205
************************************************************/

I had faced similar problem while "sbin\start-dfs". I tried different things. It looks like it was solved when I added hadoop's "bin" and "sbin" in path.

Can you please suggest the solution for Yarn problem.

解决方案

If you look at the history of the native method that is missing here you will see that it was added recently.

So this error means that you use a newer version of Hadoop, but your hadoop.dll is from an older version of Hadoop.

So either retrieving/building a newer hadoop.dll or downgrading Hadoop should avoid this problem.

For me downgrading to Hadoop 2.3.0 did the trick.

这篇关于Windows上的Hadoop。 YARN无法以java.lang.UnsatisfiedLinkError开头的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！