无法加载数据源类：com.databricks.spark.csv [英] Failed to load class for data source: com.databricks.spark.csv

问题描述

我的 build.sbt 文件中有这样的：

scalaVersion := "2.10.3"
libraryDependencies += "com.databricks" % "spark-csv_2.10" % "1.1.0"

我正在运行在独立的群集模式Spark和我SparkConf是 SparkConf（）setMaster（火花：// ec2- [IP] .compute-1.amazonaws.com：7077）。 setAppName（简单应用程序）（我不使用方法 setJars ，不知道我是否需要它）。

I am running Spark in standalone cluster mode and my SparkConf is SparkConf().setMaster("spark://ec2-[ip].compute-1.amazonaws.com:7077").setAppName("Simple Application") (I am not using the method setJars, not sure whether I need it).

我包使用命令的jar SBT包。命令我用它来运行应用程序的 ./斌/火花提交--master火花：// ec2- [IP] .compute-1.amazonaws.com：7077 --class[类名] 目标/斯卡拉-2.10 / [的JARname] _2.10-1.0.jar 。

I package the jar using the command sbt package. Command I use to run the application is ./bin/spark-submit --master spark://ec2-[ip].compute-1.amazonaws.com:7077 --class "[classname]" target/scala-2.10/[jarname]_2.10-1.0.jar.

在运行此，我得到这个错误：

On running this, I get this error:

了java.lang.RuntimeException：无法加载数据源类：
  com.databricks.spark.csv

java.lang.RuntimeException: Failed to load class for data source: com.databricks.spark.csv

什么是问题？

推荐答案

下面是工作的例子：火花提交--jars file:/root/Downloads/jars/spark-csv_2.10-1.0.3.jar,file:/root/Downloads/jars/com‌​mons-csv-1.2.jar,file:/root/Downloads/jars/spark-sql_2.11-1.4.1.jar --classSampleApp--master本地[2]目标/斯卡拉2.11 /我-proj_2.11-1.0.jar

这篇关于无法加载数据源类：com.databricks.spark.csv的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！