星火迭代HDFS目录 [英] Spark iterate HDFS directory
本文介绍了星火迭代HDFS目录的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我对HDFS目录的目录，我想遍历目录。有没有简单的方法使用SparkContext对象，星火做到这一点？
I have a directory of directories on HDFS, and I want to iterate over the directories. Is there any easy way to do this with Spark using the SparkContext object?
推荐答案
您可以使用<一个href=\"https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html\"><$c$c>org.apache.hadoop.fs.FileSystem.具体来说， FileSystem.listFiles（[路径]，真实）
和星火...
FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true)
这篇关于星火迭代HDFS目录的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
