apache-zeppelin相关内容

是否可以将 Zeppelin 笔记与 git 集成?

是否可以将 Zeppelin 笔记与 git 集成?可以设置存储库位置,但如何将其设置为远程 git 存储库. 但是,此功能在 Amazon EMR 上可用 解决方案 是的.有可能 我使用以下方式. 创建一个 github repo 并推送所有笔记本.喜欢 git clone https://github.com/rockiey/zeppelin-notebooks.g ..
发布时间:2021-11-14 23:52:26 其他开发

有人尝试将 R 解释器添加到 Apache Zeppelin 上吗?

我目前正在使用 Apache Zeppelin 来做一些数据可视化的事情,只是好奇为什么没有人为 R 提供解释器.从文档看来,创建一个新的解释器应该不会太难,但是如果真的就是这么简单,应该已经有各种语言的口译了,是不是我错了? 解决方案 EDIT 在 new zeppelin 中,集成了两个 R Interpreter.因此,对于最新版本,我们不需要以下步骤. 由于 0.6.0 ..
发布时间:2021-11-14 23:52:23 其他开发

使用凉亭的 zeppelin-web 中的 Apache zeppelin 构建过程失败

我正在尝试使用 windows 和 babun/cygwin 在本地构建 zeppelin.这个网站让我朝着正确的方向前进,但是当构建到 Web 应用程序时我遇到了以下错误: [ERROR] 无法在项目 zeppelin-web 上执行目标 com.github.eirslett:frontend-maven-plugin:0.0.23:bower (bower install):无法运行任务: ..
发布时间:2021-11-14 23:52:20 其他开发

如何在 Scala 中解析导入的名称?(火花/齐柏林飞艇)

我在 Zeppelin 中使用 Spark 解释器在一个段落中运行了一个脚本.它有一个导入,导入的名称可以从全局命名空间和函数解析,但不能从类中的方法解析. 这在我计算机上安装的 Scala (2.12) 上运行良好,但在 Zeppelin (Scala 2.11) 中不起作用. import java.util.Calendardef myFun: 字符串 = {//这有效返回 Cale ..
发布时间:2021-11-14 23:52:14 其他开发

Spark DataFrame 过滤:保留属于列表的元素

我在 Zeppelin 笔记本上使用 Spark 1.5.1 和 Scala. 我有一个 DataFrame,其中有一列名为 userID 的 Long 类型. 我总共有大约 400 万行和 200,000 个唯一用户 ID. 我还有一个要排除的 50,000 个用户 ID 的列表. 我可以轻松构建要保留的用户 ID 列表. 删除属于要排除的用户的所有行的最佳方法是什么? ..

Apache Zeppelin 安装 grunt 构建错误

我的配置如下: Ubuntu 15.04爪哇 1.7火花 1.4.1Hadoop 2.7Maven 3.3.3 我正在尝试从 github 成功克隆 Apache Zeppelin 并使用以下命令安装它 mvn clean package -DskipTests 尽管进行了多次尝试,但在初步成功后仍出现以下错误: [ERROR] 无法执行目标com.github.eirslett:f ..
发布时间:2021-11-14 23:52:05 其他开发

如何在 EMR 上为 Spark/Zeppelin 设置 spark.driver.memory

使用 EMR(使用 Spark、Zeppelin)时,在 Zeppelin Spark 解释器设置中更改 spark.driver.memory 将不起作用. 我想知道在使用 EMR Web 界面(而不是 aws CLI)创建集群时设置 Spark 驱动程序内存的最佳和最快方法是什么? Bootstrap 操作是否可以成为解决方案?如果是,您能否提供一个示例,说明引导操作文件的外观? ..
发布时间:2021-11-14 23:52:02 其他开发

Scala 和 Spark UDF 函数

我制作了一个简单的 UDF 来转换或从 spark 中临时表中的时间字段中提取一些值.我注册了该函数,但是当我使用 sql 调用该函数时,它会抛出 NullPointerException.下面是我的函数和执行过程.我正在使用齐柏林飞艇.奇怪的是,这是昨天工作,但今天早上停止工作. 功能 def convert( time:String ) : String = {val sdf = ne ..
发布时间:2021-11-14 23:51:56 其他开发

字段“特征"不存在.火花ML

我正在尝试使用 Zeppelin 在 Spark ML 中构建模型.我是这个领域的新手,需要一些帮助.我想我需要为列设置正确的数据类型并将第一列设置为标签.任何帮助将不胜感激,谢谢 val training = sc.textFile("hdfs:///ford/fordTrain.csv")val 标头 = training.firstval inferSchema = trueval df ..
发布时间:2021-11-14 23:51:53 其他开发

如何在 Zeppelin 中使用来自 S3 的依赖项?

有没有办法添加 S3 上存储桶中的 jar 作为 Zeppelin 的依赖项?尝试了 z.load(s3n://...) 和 z.addRepo(some_name).url(s3n://...) 但他们没有似乎可以胜任.. 解决方案 您可以从 S3 下载 jar 并将其放在本地 FS 上.它可以在 %dep 解释器中完成,如下所示: %dep导入 com.amazonaws.servi ..
发布时间:2021-11-14 23:51:47 其他开发

Apache Zeppelin &Spark Streaming:Twitter 示例仅适用于本地

我刚刚从 http://zeppelin-project.org/docs/tutorial/tutorial.html(“流数据教程"部分).我现在遇到的问题是该应用程序似乎只能在本地工作.如果我将 Spark 解释器设置“master"从“local[*]"更改为“spark://master:7077",当我执行相同的 SQL 语句时,应用程序将不再产生任何结果.我做错了什么吗?我已经重新启 ..

apache zeppelin 已启动,但在 localhost:8080 中出现连接错误

在 Ubuntu 14 上成功构建 apache zepellin 后,我启动了 zeppelin 并显示已成功启动,但是当我转到 localhost:8080 时,Firefox 显示无法连接错误,就像它没有启动一样,但是当我从终端检查 Zeppelin 状态时,它说运行,而且我只是复制了配置文件模板,所以配置文件是默认的 更新 将端口更改为 8090 ,这是配置文件,但结果没有变化 ..
发布时间:2021-11-14 23:51:41 其他开发

在 Zeppelin 中使用 %pyspark 解释器注册表时,我无法访问 %sql 中的表

我使用的是 Zeppelin 0.5.5.我在这里为 python 找到了这个代码/示例,因为我无法使用 %pyspark http://www.makedatauseful.com/python-spark-sql-zeppelin-tutorial/.我感觉他的 %pyspark 示例有效,因为如果您使用原始的 %spark zeppelin 教程,“银行"表已经创建. 此代码在笔记本中 ..
发布时间:2021-11-14 23:51:29 其他开发

Apache Zeppelin - 设置默认解释器

在 Zeppelin 中,我必须在每一行都提供解释器.有没有办法为整个会话设置解释器. %pyspark进口重新 用了 0 秒. 将pandas导入为pd 控制台:1:错误:'.'预期但找到标识符.将熊猫导入为 pd %pyspark将熊猫导入为 pd 用了 0 秒. 如何为整个会话设置解释器? 解决方案 Spark Interpreter group 目前有 4 个解释 ..
发布时间:2021-11-14 23:51:26 其他开发