如何使用JAVA API在HDFS中移动或复制文件 [英] How to move or copy file in HDFS by using JAVA API

查看:260
本文介绍了如何使用JAVA API在HDFS中移动或复制文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我想在HDFS中复制文件,就像从HDFS复制文件:// abc:9000 / user / a.txt到HDFS:// abc:9000 / user / 123 /

I want to copy file in THE SAME HDFS ,just like copy file from HDFS://abc:9000/user/a.txt to HDFS://abc:9000/user/123/

我可以通过使用JAVA API来实现吗?谢谢

Can I do that by using JAVA API? Thanks

推荐答案

FileUtil 提供了复制文件的方法。

FileUtil provides a method for copying files.

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://abc:9000");
FileSystem filesystem = FileSystem.get(configuration);
FileUtil.copy(filesystem, new Path("src/path"), filesystem, new Path("dst/path"), false, configuration);

如果您需要将其复制到另一个群集,只需创建一个新的配置和setup以及新的 FileSystem

If you need to copy it to another cluster, just make a new Configuration and setup and new FileSystem.

这篇关于如何使用JAVA API在HDFS中移动或复制文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆