错误“此上下文的作业类型无效"在 Spark 作业服务器的 Spark SQL 作业中 [英] The error "Invalid job type for this context" in spark SQL job with Spark job server
问题描述
我使用 Spark 作业服务器创建了一个 Spark SQL 作业,并按照以下示例使用 HiveContext:https:///github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/HiveTestJob.scala
I create a spark SQL job with spark job server and use HiveContext following the sample below: https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/HiveTestJob.scala
我能够启动服务器,但是当我运行我的应用程序(我的 Scala 类它扩展了 SparkSqlJob),我得到以下响应:
I was able to start the server but when I run my application(my Scala class which extends SparkSqlJob), I am getting the following as response:
{
"status": "ERROR",
"result": "Invalid job type for this context"
}
任何人都可以建议我出了什么问题或提供详细的程序为 SparkSQL 设置作业服务器?
Can any one suggest me what is going wrong or provide a detailed procedure for setting up jobserver for SparkSQL?
代码如下:
import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.sql.hive.HiveContext
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkHiveJob}
object newHiveRest extends SparkHiveJob {
def validate(hive: HiveContext, config: Config): SparkJobValidation = SparkJobValid
def runJob(hive: HiveContext, config: Config): Any = {
hive.sql(s"use default")
val maxRdd = hive.sql(s"select count(*) from 'default'.'passenger'")
maxRdd.count()
}
}
推荐答案
对于 Spark SQL,您可以使用以下内容
For Spark SQL you can use the following
这篇关于错误“此上下文的作业类型无效"在 Spark 作业服务器的 Spark SQL 作业中的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!