无法将文件复制到HDFS(Can't copy file into HDFS)

313 IT屋

I have problem with HDSF.

I can't copy any files into it, but I have ample space in DataNodes? Maybe I have some bad configuration?

解决方案

You should provide specific details like the exception you get, steps you follow etc, Since you have not specified any information at all, i would say check for the config files to make sure you have all the required entries in corresponding files :

In core-site.xml you should have

<configuration>
   <property>
    <name>fs.default.name</name>
    <value>hdfs://ipaddress:port</value>
  </property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/$user/hdfs/tmp</value>
  <description>A base for other temporary directories.</description>
</property>
</configuration>

Similarly hdfs-site.xml should have

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.data.dir</name>

    <value>/home/$user/hdfs/data</value>
  </property>
<property>
    <name>dfs.name.dir</name>

    <value>/home/$user/hdfs/name</value>
  </property>
</configuration>

And finally the mapred-site.xml should have

<configuration>
 <property>
    <name>mapred.job.tracker</name>
    <value>ip:port</value>
  </property>
</configuration>

Hope this helps.

我有HDSF问题。



我无法复制任何文件,但是DataNodes中有足够的空间?
也许我有一些不好的配置?


解决方案

您应该提供具体的细节,例如您得到的例外,您遵循的步骤等等,因为您根本没有指定任何信息,我会说检查配置文件,以确保你有相应的文件中的所有条目:



在core-site.xml中,你应该有



 <配置> 
<属性>
<名称> fs.default.name< /名称>
< value> hdfs:// ipaddress:port< / value>
< / property>
<属性>
< name> hadoop.tmp.dir< / name>
< value> / home / $ user / hdfs / tmp< / value>
< description>其他临时目录的基础。< / description>
< / property>
< / configuration>


同样,hdfs-site.xml应该有
< pre> <结构>
<属性>
< name> dfs.replication< / name>
<值> 1< /值>
< / property>
<属性>
<名称> dfs.data.dir< /名称>

< value> / home / $ user / hdfs / data< / value>
< / property>
<属性>
<名称> dfs.name.dir< /名称>

< value> / home / $ user / hdfs / name< / value>
< / property>
< / configuration>


最后,mapred-site.xml应该有

 < configuration> 
<属性>
<名称> mapred.job.tracker< / name>
<值> ip:port< /值>
< / property>
< / configuration>


希望这有助于您。


本文地址:IT屋 » 无法将文件复制到HDFS