apache-zeppelin相关内容

在Zeppelin中将熊猫数据帧转换为Spark数据帧

我是齐柏林飞艇的新手.我有一个用例,其中有一个熊猫数据框.我需要使用齐柏林飞艇的内置图表来可视化集合,我这里没有一个明确的方法.我对齐柏林飞艇的理解是,如果它是RDD格式,我们可以可视化数据.所以,我想将pandas数据框转换为spark数据框,然后进行一些查询(使用sql),我将进行可视化. 首先,我尝试将pandas数据框转换为spark,但是我失败了 %pyspark import p ..
发布时间:2020-05-24 01:46:03 Python

使用pyspark的toPandas()错误:"int"对象不可迭代

我有一个pyspark数据框,我正在尝试使用toPandas()将其转换为熊猫,但是我遇到了以下提到的错误. 我尝试了不同的选项,但遇到了相同的错误: 1)将数据限制为只有几条记录 2)显式使用了collect()(我相信toPandas()会固有地使用) 探索了很多关于SO的帖子,但是AFAIK都没有toPandas()问题. 我的数据帧快照:- >>sc.versi ..
发布时间:2020-05-23 22:35:39 Python

构建Apache Zeppelin时出错

我已经用cloudera设置了我的hadoop.我想安装Zeppelin与蜂巢连接,并为我的查询构建UI.使用以下命令构建zeppelin命令时: sudo mvn clean package -Pspark-1.3 -Dspark.version=1.3.0 -Dhadoop.version=2.6.0-cdh5.4.7 -Phadoop-2.6 -Pyarn -DskipTests ..
发布时间:2020-05-07 20:31:32 其他开发

Apache Zeppelin无法与https一起使用以进行Maven回购

我正在Amazon EMR中运行Apache Zeppelin 0.8.0.最近,Spark解释器开始无法下拉库依赖关系.这是因为zeppelin.interpreter.dep.mvnRepo配置参数设置为 http://repo1.maven.org /maven2/,并且maven存储区最近已停止支持http,如下所示:根据Maven文档,我将此参数的值更新为 https://repo1.m ..
发布时间:2020-05-07 20:29:19 其他开发

如何将mllib矩阵转换为spark数据框?

我想在齐柏林飞艇笔记本中漂亮地打印相关结果: val Row(coeff: Matrix) = Correlation.corr(data, "features").head 实现此目的的一种方法是将结果转换为DataFrame,并将每个值放在单独的列中,然后调用z.show(). 但是,请查看还有另一种直接的方法可以实现这一目标吗? 编辑: 数据框有50列.仅仅转换为 ..

Zeppelin Oracle SQL查询先行运行

我正在尝试使用Zeppelin(Windows 10上的v 0.7.0 Java 1.8;与 docker v .0.7.1)用于查询Oracle数据库的JDBC解释器. 到目前为止,我已经找到了示例之类的论文.我尝试将jdbc解释器用于: common.max_count=100 default.driver=oracle.jdbc.pool.OracleDataSource de ..
发布时间:2019-09-02 18:20:46 数据库

将d3.js与Apache Zeppelin一起使用

我正在尝试通过将它与d3.js集成来为Apache Zeppelin添加更多可视化选项 我找到了一个例子,其中有人用leaflet.js 这里,并尝试做类似的事情 - 不幸的是我对angularJS不太熟悉(Zeppelin用来解释前端的东西)语言)。我也没有流数据。下面是我的代码,只使用d3.js中的简单教程示例 %angular ..
发布时间:2019-05-24 19:13:14 前端开发

Zeppelin 0.7.2版本不支持spark 2.2.0

如何降级spark版本?什么可能是其他解决方案?我必须使用spark会话连接我的配置单元表来激发。但是zeppelin不支持spark版本。 解决方案 这里有两个原因。 Zeppelin 0.7.2将spark 2.2+标记为不支持的版本。 https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/or ..
发布时间:2018-06-12 14:08:15 其他开发

将Apache Zeppelin连接到Hive

我尝试将我的apache zeppelin与我的配置单元Metastore连接起来。我使用zeppelin 0.7.3,因此不存在只有jdbc的配置单元解释器。我已将我的hive-site.xml复制到zeppelin conf文件夹,但我不知道如何创建新的配置单元解释器。 我也尝试通过spark的配置单元环境访问配置单元表,但是当我尝试这种方式时,我看不到我的配置单元数据库只显示默认数据库 ..
发布时间:2018-06-12 14:01:11 其他开发

apache zeppelin抛出NullPointerException错误

我是zeppelin的新手,尝试在我的系统上安装齐柏林飞艇。 直到现在,我已经完成了以下步骤: 从 here 在我的系统环境变量中设置JAVA_HOME。 转到zeppelin-0.7.3-bin-all \bin并运行zeppelin.cmd 可以在 http:// localhost:8090 当我试图运行将数据加载到表中在zeppelin tutotial中提到的程序 - ..
发布时间:2018-05-31 19:26:48 Java开发

在火花集群模式下运行齐柏林飞艇

我正在使用本教程在码头集装箱中的纱线模式下产生群集以在纱线模式下在火花群集中启动齐柏林飞艇。然而我卡在第4步。我找不到在我的码头集装箱conf / zeppelin-env.sh进行进一步的配置。我试图把这些配置文件夹的齐柏林,但现在成功了。除此之外,齐柏林笔记本电脑也未在localhost:9001上运行。 我对分布式系统非常陌生,如果有人可以帮助我在纱线模式下启动spark集群上的zep ..