在火花集群模式下运行齐柏林飞艇 [英] Running zeppelin on spark cluster mode

问题描述

我正在使用本教程在码头集装箱中的纱线模式下产生群集以在纱线模式下在火花群集中启动齐柏林飞艇。然而我卡在第4步。我找不到在我的码头集装箱conf / zeppelin-env.sh进行进一步的配置。我试图把这些配置文件夹的齐柏林，但现在成功了。除此之外，齐柏林笔记本电脑也未在localhost：9001上运行。

我对分布式系统非常陌生，如果有人可以帮助我在纱线模式下启动spark集群上的zeppelin，那将是非常棒的。

$

 版本：'2'b $ b 
这是我的docker-compose文件，用于启用与Spark集群的zeppelin对话。 
服务：
 sparkmaster：
 build：。 
 container_name：sparkmaster 
 ports：
  - 8080：8080
  - 7077：7077
  - 8888：8888
  - 8081 ：8081
  - 8082：8082
  - 5050：5050
  - 5051：5051
  - 4040：4040
 zeppelin：
 image：dylanmei / zeppelin 
 container_name：zeppelin-notebook 
 env_file：
  -  ./hadoop.env 
环境：
 ZEPPELIN_PORT：9001 
 CORE_CONF_fs_defaultFS：hdfs：// namenode：8020
 HADOOP_CONF_DIR_fs_defaultFS：hdfs：// namenode：8020
 SPARK_MASTER：spark：// spark-master：7077
 MASTER： yarn-client
 SPARK_HOME：spark-master 
 ZEPPELIN_JAVA_OPTS：&
 -Dspark.driver.memory = 1g 
 -Dspark.executor.memory = 2g 
港口：
  -  9001：9001 
卷：
  -  ./data:/usr/zeppelin/data 
  -  ./notebooks:/usr/zeppelin/notebook 
  

解决方案

这是您用来启动独立Spark集群的dockerfile。

• https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile
>

但容器内没有Zeppelin实例，因此您必须在本地计算机上使用Zeppelin。

请下载并使用它。

I am using this tutorial spark cluster on yarn mode in docker container to launch zeppelin in spark cluster in yarn mode. However I am stuck at step 4. I can't find conf/zeppelin-env.sh in my docker container to put further configuration. I tried putting these conf folder of zeppelin but yet now successful. Apart from that zeppelin notebook is also not running on localhost:9001.

I am very new to distributed system, it would be great if someone can help me start zeppelin on spark cluster in yarn mode.

Here is my docker-compose file to enable zeppelin talk with spark cluster.

version: '2'
services:
sparkmaster:
  build: .
  container_name: sparkmaster
ports:
  - "8080:8080"
  - "7077:7077" 
  - "8888:8888"
  - "8081:8081"
  - "8082:8082"
  - "5050:5050"
  - "5051:5051"
  - "4040:4040"
zeppelin:
  image: dylanmei/zeppelin
  container_name: zeppelin-notebook
env_file:
  - ./hadoop.env
environment:
  ZEPPELIN_PORT: 9001
  CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
  HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020"
  SPARK_MASTER: "spark://spark-master:7077"
  MASTER: "yarn-client"
  SPARK_HOME: spark-master
  ZEPPELIN_JAVA_OPTS: >-
    -Dspark.driver.memory=1g
    -Dspark.executor.memory=2g
ports:
  - 9001:9001
volumes:
  - ./data:/usr/zeppelin/data
  - ./notebooks:/usr/zeppelin/notebook

解决方案

this is the dockerfile you used to launch the standalone spark cluster.

• https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

But there is no Zeppelin instance inside the container, so you have to use Zeppelin on your local machine.

Please download and use it.

这篇关于在火花集群模式下运行齐柏林飞艇的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！