HDFS中的电光类路径 [英] Spark classpath in HDFS
本文介绍了HDFS中的电光类路径的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
对于在纱线(纱线客户端)上运行的电光作业，是否可以使用hdfs中的jar指定类路径
有点像使用Map Reduce作业：
DistributedCache.addFileToClassPath(Path file, Configuration conf, FileSystem fs)
推荐答案
来自SparkContext文档：
defaddJar(路径：string)： 单位
将所有任务的JAR依赖项添加到 以后在此SparkContext上执行。传递的路径可以是 本地文件、HDFS中的文件(或其他Hadoop支持的文件 文件系统)、HTTP、HTTPS或FTP URI，或文件的local：/path 每个工作节点。
所以我认为只需在您的spkContext初始化中添加以下内容就足够了：
sc.addJar("hdfs://your/path/to/whatever.jar")
如果您只想添加一个文件，有一个相关的addFile()方法。
有关详细信息，请参阅docs。
这篇关于HDFS中的电光类路径的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
