将文件添加到dataproc上的spark驱动程序类路径文件 [英] add file to spark driver classpath file on dataproc

问题描述

我需要在google dataproc上的驱动程序spark类路径中添加一个配置文件.

I need to add a config file to driver spark classpath on google dataproc.

我尝试使用gcloud dataproc jobs submit spark的--files选项，但这不起作用.

I have try to use --files option of gcloud dataproc jobs submit spark but this not work.

有没有办法在Google dataproc上做到这一点?

Is there a way to do it on google dataproc?

推荐答案

在Dataproc中，列为--jar的所有内容都将添加到类路径中，并且列为--file的所有内容将在每个spark执行程序的工作中可用.目录.即使标志为--jars，但如果您要求文件位于类路径中，则将非jar条目放在此列表中也应该是安全的.

In Dataproc, anything listed as a --jar will be added to the classpath and anything listed as a --file will be made available in each spark executor's working directory. Even though the flag is --jars, it should be safe to put non-jar entries in this list if you require the file to be on the classpath.

这篇关于将文件添加到dataproc上的spark驱动程序类路径文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！