为 Scala 2.11 编译 Spark [英] Compile Spark for Scala 2.11

问题描述

使用 Scala 2.11 编译 Spark 时，我们会收到与 spark-sql 相关的错误.

When compiling Spark with Scala 2.11 we get errors associated with spark-sql.

build/mvn -Dscala-2.11 -DskipTests clean package

Spark 构建文档说:Spark 尚不支持 Scala 2.11 的 JDBC 组件.

The Spark build docs say: Spark does not yet support its JDBC component for Scala 2.11.

必须有一种没有这个的编译方法.

There has to be a way to compile without this.

如何为 Scala 2.11 编译 Spark?

推荐答案

构建运行前:

./dev/change-scala-version.sh 2.11

更改 Scala 版本.奇怪的是，文档中没有提到这一点.

to change the Scala version. Strangely, this is not mentioned in the docs.

此外，该错误可能与 spark-sql 没有直接关系，而是与使用 Scala 2.10 编译的某些依赖项有关.

Additionally the error probably isn't related to spark-sql directly but rather some dependency that was compiled with Scala 2.10.

这篇关于为 Scala 2.11 编译 Spark的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！