星火同时作业失败
如果我有火花纱客户端上运行一个单一的工作一切正常，但在多个（> 1）同时工作我得到的容器节点上的以下异常。我使用的是1.2星火与CDH5.3和火花Jobserver java.io.IOException异常：org.apache.spark.SparkException：无法获取broadcast_3的broadcast_3_piece0 在org.apache.spark.util
..
yarn相关内容
如何建立齐柏林与远程电子病历纱群集中工作
我有星火1.4.1亚马逊EMR的Hadoop集群V2.6与纱线资源管理器。 我想单独的机器上部署齐柏林允许关闭EMR集群时，有没有运行的作业。 我试着以下从这里 HTTPS指令：//zeppelin.incubator.apache。组织/文档/安装/ yarn_install.html 没有太大的成功。 有人可以去神秘化的步骤齐柏林应如何连接到现有的纱线集群从不同的机器吗？ 解决方
..
如何在纱线群集模式确实为星火驱动程序故障转移过程的工作（及其YARN容器）资源/文档
我想了解是否星火驱动程序是一个单一故障点集群模式部署纱时。所以，我想获得关于这方面星火驱动的纱线集装箱故障转移过程的内部结构的一个更好的把握。 我知道星火驱动程序将在纱线Container中的星火应用程序主运行。如果需要，星火应用法师会请求资源纱线资源管理器。但我一直没能找到有足够的细节有关星火应用法师YARN容器的情况下故障转移过程的文件（和星火驱动程序）失败。 我试图找出一些详细的资源，可
..
纱线阿帕奇星火：输入数据文件的大量（火花合并多个输入文件）
需要一个用于实施最佳实践帮助。 运行环境如下： 日志数据文件到达不规则。 日志数据文件的大小是从3.9KB到8.5MB。平均约为1MB。 的一个数据文件的记录的数量是从13行到22000线。平均约为2700线。 聚合前数据文件必须进行后处理。 后期处理算法是可以改变的。 处理后文件与原始的数据文件分开管理，由于后处理算法可能被改变。 每日聚集执行。所有后处理的数据文件必须经过过
..
阿帕奇火花：核心的数目与执行器的数量
我想纱线运行星火作业时，了解内核的数量和执行者的数量之间的关系。 该测试环境如下： 数据节点的数量：3 数据节点机规格： CPU：酷睿i7-4790（内核＃：4，线程＃：8） 内存：32GB（8GB×4） 硬盘：8TB（2TB×4） 网络：1GB 星火版本：1.0.0 的Hadoop版本：2.4.0（Hortonworks HDP 2.1） 星火作业流程
..
如何从PySpark上下文中提取应用程序ID
一个 previous问题建议 sc.applicationId ，但它的不的在present PySpark ，只在斯卡拉。 所以，我怎么弄清楚这个应用程序的ID（纱线）我PySpark过程？ 解决方案 您可以通过Py4J RPC网关使用Java SparkContext对象： ＆GT;＆GT;＆GT; sc._jsc.sc（）的applicationID（） u'applicati
..
为什么火花任务的单个节点上运行？
我已经安装了一个Spark集群。它有4个节点，但是当我在集群上运行的SparkPi例子中，只有一个节点运行。我该如何解决呢？ 解决方案 一种可能性是，你的运行在本地模式的例子。即，例如不使用簇的。这是很容易验证这一点：停止星火主，看看例子仍然有效。
..
如何设置在纱线星火作业的环境变量？
我试图从的 Accumulo 1.6 ： //spark.apache.org/docs/1.0.0/api/java/index.html“相对=”nofollow“>阿帕奇星火作业（Java编写的）使用 AccumuloInputFormat 与 newAPIHadoopRDD 。为了做到这一点，我必须告诉 AccumuloInputFormat 其中，通过调用 setZooKeeperIns
..
对于纱线的火花性能问题
我们正在尝试运行纱线我们的火花集群。相比独立模式尤其是当我们遇到一些性能问题。 我们有各具有16GB的RAM 5个节点和各8个核心的集群。我们在纱线-site.xml中配置的最小容器大小为3GB，最大值为14GB。当提交作业纱线集群，我们提供执行人= 10，遗嘱执行人= 14 GB的内存数量。按照我的理解我们的工作应分配14GB的4容器。但火花UI仅会显示每3 7.2GB的容器。 我们无法保证
..
哪里日志在星火纱线？
我是新来的火花。现在，我可以运行在纱线（2.0.0-cdh4.2.1）火花0.9.1。但没有日志执行之后。 下面的命令被用于运行一个火花例子。但日志不会在历史服务器如在正常马preduce作业发现 SPARK_JAR = /组装/目标/斯卡拉-2.10 /火花组装0.9.1-hadoop2.0.0-cdh4.2.1.jar \\ ./bin/spark-class org.apache.sp
..
星火纱客户端模式
Apache的火花随着研究的深入更新版本0.8.1，其中纱线客户端模式可用。我的问题是，什么是纱线客户机模式究竟意味着什么？在文档它说： 纱客户机模式，应用程序将在本地推出。就像运行 应用程序或火花外壳上的本地/ Mesos /独立模式。这次发射的方法也 与之类似的，只是确保当你需要指定一个主URL，使用 “纱客户端”，而不是 这是什么意思“在当地推出了”？当地在哪里？在星火集群？结果 从纱
..
如何登录使用的纱线运行星火应用程序中log4j的本地文件系统？
我要建一个Apache星火流媒体应用程序，不能让它记录到文件在本地文件系统的纱线运行时，它。如何才能做到这一点？ 我已经设置 log4.properties 文件，以便它可以成功地写入到 / tmp目录日志文件：本地文件系统（下面部分示出）上的目录 log4j.appender.file = org.apache.log4j.FileAppender log4j.appender.file.
..
阿帕奇星火：设置执行人情况不改变遗嘱执行人
我有一个纱集群上运行一个Apache星火应用程序（火花有这个集群3个节点）的群集模式。 在应用程序运行时的火花UI显示，2执行人（每一个不同的节点上运行）和驱动器的第三个节点上运行。 我想用更多的执行者，所以我尝试添加参数--num遗嘱执行人的火花提交并将其设置为6应用程序。 火花提交--driver内存3G --num-执行人6 --class main.Application --e
..
对成纱集群运行的问题星火招聘
我想在运行我的火花工作的 Hadoop的纱的集群模式，我使用下面的命令： 火花提交--master纱线集群 --driver-1G内存 --executor-1G内存 --executor-1核心 --class com.dc.analysis.jobs.AggregationJob
..
如何获得星火map任务的ID？
有没有办法让星火map任务的ID？例如，如果每个map任务调用一个用户自定义功能，可我得到的地图任务的ID从whithin用户定义的函数？ 解决方案 我不知道你的意思是由ID映射的任务，但你可以通过访问任务信息 TaskContext 进口org.apache.spark.TaskContextsc.parallelize（1至10，3）.foreachPartition（_ =＆GT;
..
＆QUOT; sparkContext被关停＆QUOT;而在大型数据集上运行的火花
在一个集群上运行sparkJob过去某些数据的大小（〜2,5gb）我正在和“执行人丢失”或者“取消，因为SparkContext被关闭作业”。当纱线GUI找我看到被杀害的工作是成功的。上是500MB的数据中运行时不存在任何问题。我一直在寻找一个解决方案，并发现： - “似乎纱杀死一些执行者，他们要求更多的内存比预期的” 任何建议如何调试它？ 命令，我提出我的火花与工作： /opt/spa
..
在纱集群模式下运行时没有发现蜂巢表
我有一个火花（1.4.1版）的应用上HDP 2.3。纱线客户端模式下运行时，它工作正常。然而，纱线群集模式没有我的蜂巢表运行时，它可以通过应用程序被发现。 我递交申请，像这样： ./斌/火花提交 --class com.myCompany.Main --master纱线集群 --num-执行人3 --driver-4G内存 --executor内存10
..
我应该选择哪种星火集群类型？
我是新来的Apache星火，我刚刚得知，桅杆支持3种集群的： 独立 - 这意味着星火将管理自己的集群 纱线 - 使用Hadoop的YARN资源管理器 Mesos - Apache的专用资源经理的项目 由于我是新来的火花，我觉得我应该尝试的独立第一位。但我不知道哪一个是推荐的。再说了，今后我需要建立一个大型集群（数百个实例），我应该去哪个集群类型？ 解决方案 我认为最好的回答
..
Apache的Hadoop的纱线 - 内核未得到充分利用
不管我有多么的设置在鼓捣纱的site.xml 即使用所有的下列选项中 yarn.scheduler.minimum分配，vcores yarn.nodemanager.resource.memory-MB yarn.nodemanager.resource.cpu-vcores yarn.scheduler.maximum分配-MB yarn.scheduler.maximum分配，vcore
..
Hadoop的发行版本混乱
我试图找出不同版本的Hadoop，我读这的页。 下载 1.2.X - 当前稳定版本，1.2版本 2.2.X - 当前的稳定2.x版 2.3.x版本 - 当前2.x版 0.23.X - 类似于2.X.X但缺少NN HA。 新闻稿可能来自Apache镜子下载。 问： 我想开始0.XX任何发布意味着它是一个alpha版本，应在产品中不使用，是这样吗？ 是什么0.23.X和2.3.x版
..