使用copyFromLocal开关将数据移动到hdfs [英] Moving data to hdfs using copyFromLocal switch

问题描述

我不知道这里发生了什么，但是我正在试图从本地文件系统的目录中复制一个简单的文件到hdfs指定的目录。

在我的hdfs-site.xml中，我已经指定hdfs的目录将是/ home / vaibhav / Hadoop / dataNodeHadoopData，使用以下属性 - $ / $>

$ $ p $ <$ code><名称>&dfs.data.dir LT; /名称>
< value> / home / vaibhav / Hadoop / dataNodeHadoopData /< / value>

和

<名称> dfs.name.dir< / name>
< value> / home / vaibhav / Hadoop / dataNodeHadoopData /< / value>

我使用以下命令 -

  bin / hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data / home / vaibhav / Hadoop / dataNodeHadoopData 
  

将文件u.data从其本地文件系统位置复制到我指定为Hdfs目录的目录中。但是当我这样做时，没有任何反应 - 没有错误，什么也没有。并没有文件被复制到hdsf。难道我做错了什么？任何权限问题都可能存在？

需要建议。

我使用伪分布式单节点模式。 / p>

另外，在相关笔记中，我想问一下在我的map reduce程序中，我已经将配置设置为指向inputFilePath作为/ home / vaibhav / ml-100k /u.data。那么它会不会自动将文件从给定位置复制到hdfs？

解决方案

我相信 dfs.data.dir 和 dfs.name.dir 必须指向两个不同的和现有的目录。此外，确保在更改配置中的目录后对namenode FS进行了格式化。

复制到HDFS时，您错误地指定了目标。将本地文件复制到HDFS的正确语法是：

  bin / hadoop dfs -copyFromLocal< local_FS_filename> < target_on_HDFS> b 
 
 
 
 $ b示例： code> bin / hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data 
  

这会在HDFS的用户主目录中创建一个文件 my.data 。
在将文件复制到HDFS之前，请确保您首先掌握列出目录内容和目录创建。

I don't know what's going on here but I am trying to copy a simple file from a directory in my local filesystem to the directory specified for hdfs.

In my hdfs-site.xml I have specified that the directory for hdfs will be /home/vaibhav/Hadoop/dataNodeHadoopData using the following properties -

<name>dfs.data.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>

and 

<name>dfs.name.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>

I am using the following command -

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data /home/vaibhav/Hadoop/dataNodeHadoopData

to copy the file u.data from it's local filesystem location to the directory that I specified as Hdfs directory. But when I do this, nothing happens - no error, nothing. And no file gets copied to the hdsf. Am I doing something wrong? Any permissions issue could be there?

Suggestions needed.

I am using pseudo distributed single node mode.

Also, on a related note, I want to ask that in my map reduce program I have set the configuration to point to the inputFilePath as /home/vaibhav/ml-100k/u.data. So would it not automatically copy the file from given location to hdfs ?

解决方案

I believe dfs.data.dir and dfs.name.dir have to point to two different and existing directories. Furthermore make sure you have formatted the namenode FS after changing the directories in the configuration.

While copying to HDFS you're incorrectly specifying the target. The correct syntax for copying a local file to HDFS is:

bin/hadoop dfs -copyFromLocal <local_FS_filename> <target_on_HDFS>

Example:

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data

This would create a file my.data in your user's home directory in HDFS. Before copying files to HDFS make sure, you master listing directory contents and directory creation first.

这篇关于使用copyFromLocal开关将数据移动到hdfs的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！