PySpark 内核(JupyterHub)可以在纱线客户端模式下运行吗?
我当前的设置: 使用 HDFS 和 YARN 的 Spark EC2 集群 JuputerHub(0.7.0) 使用 python27 的 PySpark 内核 我用于这个问题的非常简单的代码: rdd = sc.parallelize([1, 2])rdd.collect() 在 Spark 独立版中按预期工作的 PySpark 内核在内核 json 文件中具有以下环境变量:
..
spark-ec2相关内容
在Windows 8.1空空集群时火花EC2无法识别
我在火花初学者。我想在Amazon EC2上运行的火花，但我的系统无法识别“火花EC2”或“./spark-ec2”。它说：“火花EC2”不被识别为一个内部或外部命令。 我跟着指令这里推出集群。我想用Scala的，我怎么做工作？ 解决方案 添加PYTHON PATH环境变量，博托。 PYTHONPATH =“$ {SPARK_EC2_DIR} /third_party/boto-2.4.1.
..