在Windows下hadoop中启动tasktracker的问题 [英] Problem starting tasktracker in hadoop under windows

问题描述

我试图在windows下使用hadoop，当我想启动tasktracker时遇到问题。例如：

  $ bin / start-all.sh 
  

然后日志写道：

  2011-06-08 16： 32：18,157错误org.apache.hadoop.mapred.TaskTracker：无法启动任务跟踪器，因为java.io.IOException：无法设置路径权限：/ tmp / hadoop-Administrator / mapred / local / taskTracker为0755 
在org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue（RawLocalFileSystem.java:525）
 at org.apache.hadoop.fs.RawLocalFileSystem.setPermission（RawLocalFileSystem.java:507）
 at org。 apache.hadoop.fs.RawLocalFileSystem.mkdirs（RawLocalFileSystem.java:318）
在org.apache.hadoop.fs.FilterFileSystem.mkdirs（FilterFileSystem.java:183）
在org.apache.hadoop。 mapred.TaskTracker.initialize（TaskTracker.java:630）
 at org.apache.hadoop.mapred.TaskTracker。< init>（TaskTracker.java:1328）
 at org.apache.hadoop.mapred .TaskTracker.main（TaskTracker.java:3430）
  

有什么问题？我该如何解决这个问题？谢谢！

解决方案

我在Windows服务器上安装1.0.3时遇到了这个问题。我更改了hdfs-site.xml中的默认目录，这样hadoop为dfs创建的目录就是这样的cygwin目录的子目录...

.. 。

 <属性> 
<名称> dfs.name.dir< /名称> 
<值> c：/ cygwin / usr / mydir / dfs / logs< /值> 
< / property> 
<属性> 
<名称> dfs.data.dir< /名称> 
<值> c：/ cygwin / usr / mydir / dfs / data< /值> 
< / property> 
< / configuration> 
  

这似乎解决了这个问题。

配置文件的apache文档是这里

I am trying to use hadoop under windows and I am running into a problem when I want to start tasktracker. For example:

$bin/start-all.sh

then the logs writes:

2011-06-08 16:32:18,157 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker to 0755
    at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:507)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)
    at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:630)
    at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328)
    at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430)

What's the problem? How can I solve this? Thanks!

解决方案

I was running into this issue on an installation of 1.0.3 on Windows server. I changed the default directory in hdfs-site.xml so that the directory that hadoop creates for the dfs is a subdir of the cygwin directory like this...

...

 <property>
    <name>dfs.name.dir</name>
    <value>c:/cygwin/usr/mydir/dfs/logs</value>
 </property>
 <property>
    <name>dfs.data.dir</name>
    <value>c:/cygwin/usr/mydir/dfs/data</value>
 </property>
</configuration>

This seemed to resolve the problem.

The apache documentation for the config files is here

这篇关于在Windows下hadoop中启动tasktracker的问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！