Zeppelin:找不到livy.spark解释器 [英] Zeppelin: livy.spark interpreter not found

查看:158
本文介绍了Zeppelin:找不到livy.spark解释器的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

Hi there,

我正在按照https://docs.microsoft.com/zh-CN/azure/hdinsight/spark/apache-spark-zeppelin-notebook

I am following the tutorial on https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-zeppelin-notebook

%livy.spark
 //上面的魔法指示齐柏林飞艇使用Livy Scala解释器

 ///使用默认的Spark上下文sc
创建一个RDD   val hvacText = sc.textFile("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")

 //定义架构
案例类Hvac(日期:字符串,时间:字符串,目标温度:整数,实际温度:整数,建筑物ID:字符串)

 //将.csv文件中的值映射到架构
val hvac = hvacText.map(s => s.split(,")).filter(s => s(0)!=日期").map(
      s =>暖通空调(s(0), 
              s(1),
              s(2).toInt,
              s(3).toInt,
              s(6)
     )
 ).toDF()

 //注册为名为"hvac"的临时表
  hvac.registerTempTable("hvac")

%livy.spark
 //The above magic instructs Zeppelin to use the Livy Scala interpreter

 // Create an RDD using the default Spark context, sc
 val hvacText = sc.textFile("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")

 // Define a schema
 case class Hvac(date: String, time: String, targettemp: Integer, actualtemp: Integer, buildingID: String)

 // Map the values in the .csv file to the schema
 val hvac = hvacText.map(s => s.split(",")).filter(s => s(0) != "Date").map(
     s => Hvac(s(0), 
             s(1),
             s(2).toInt,
             s(3).toInt,
             s(6)
     )
 ).toDF()

 // Register as a temporary table called "hvac"
 hvac.registerTempTable("hvac")

我收到错误消息:

 

在哪里可以找到进一步解决问题的日志?还是我做错了什么?

Where can I find the logs to further troubleshoot? Or what am I doing wrong?

推荐答案

按照错误消息,似乎您选择了不同版本的spark.我建议您选择Spark 2.1.0(HDI 3.6) 版本并尝试.

As per the error message, it appears that you have selected different version of spark. I suggest you select Spark 2.1.0 (HDI 3.6) version and try.

- -------------------------------------------------- --------------------------------------
如果此答案有帮助,请单击标记为答案"或上投票".要提供有关您的论坛体验的其他反馈,请单击 span> .

------------------------------------------------------------------------------------------
If this answer was helpful, click "Mark as Answer" or "Up-Vote". To provide additional feedback on your forum experience, click here.


这篇关于Zeppelin:找不到livy.spark解释器的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆