yarn相关内容

如何处理纱线客户端中运行时间过长的任务(与工作中的其他任务相比)?

我们使用Spark集群作为yarn-client来计算多个业务,但有时我们的任务运行时间过长: 我们没有设置超时时间,但我认为默认的火花任务超时时间不会太长,例如此处(1.7h). 任何人都可以帮我解决这个问题? 解决方案 如果耗时太长,spark无法终止其任务. 但是我想出了一种使用推测, 这意味着,如果一个或多个任务在一个阶段中运行缓慢,则它们 将重新启动. ..
发布时间:2020-09-04 05:40:22 其他开发

如何设置Spark执行器的数量?

如何从Java(或Scala)代码中配置具有SparkConfig和SparkContext的执行程序?我经常看到2个执行者.似乎spark.default.parallelism无法正常工作,并且功能有所不同. 我只需要将执行程序的数量设置为等于集群大小,但是总是只有2个.我知道我的集群大小.如果这很重要,我会在YARN上运行. 解决方案 好的,知道了. 执行程序的数量实际上不是S ..
发布时间:2020-09-04 05:27:19 Java开发

Spark在独立版本中比在YARN中运行更快

希望获得有关独立式和纱线执行火花的一些见解.我们有一个4节点的cloudera集群,当前在YARN模式下运行时,应用程序的性能不到在独立模式下运行时所获得的性能的一半.是否有人对可能造成这种情况的因素有所了解. 解决方案 基本上,您的数据和群集太小. 大数据技术的真正目的是处理无法容纳在单个系统上的数据.鉴于您的集群有4个节点,可能适合POC工作,但您不应认为这对基准测试应用程序是可 ..

群集中HADOOP_CONF_DIR的值

我已经使用Ambari设置了一个群集(YARN),并以3个VM作为主机. 在哪里可以找到HADOOP_CONF_DIR的值? # Run on a YARN cluster export HADOOP_CONF_DIR=XXX ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master ya ..
发布时间:2020-09-04 03:16:56 其他开发

org.apache.spark.rpc.RpcTimeoutException:期货在[120秒]后超时.此超时由spark.rpc.lookupTimeout控制

在将火花应用程序提交给YARN时,获得关于容器的以下错误. HADOOP(2.7.3)/SPARK(2.1)环境正在单节点群集中运行伪分布式模式.当使该应用程序在本地模型中运行时,该应用程序完美运行,但是尝试使用YARN作为RM在集群模式下检查其正确性,并遇到了一些障碍.这是世界上的新事物,因此需要帮助. ---应用程序日志 2017-04-11 07:13:28 INFO Clie ..
发布时间:2020-09-04 03:09:17 其他开发

'yarn application -list'没有显示任何结果

我已经在YARN群集上运行了一些Spark应用程序.该应用程序显示在YARN UI http://host:8088/cluster 的“所有应用程序"页面中 yarn application -list 命令不会给出任何结果.可能是什么原因造成的? 解决方案 事实证明,我在YARN中启用了日志聚合,但是设置了 yarn.nodemanager.remote-app-log-dir 到自定 ..
发布时间:2020-09-04 03:09:07 其他开发

如何解决电火花容器上浆的问题?

我想在YARN上启动一些pyspark作业.我有2个节点,每个节点有10 GB.我可以像这样打开pyspark shell:pyspark 现在,当我有一个非常简单的示例尝试启动时: import random NUM_SAMPLES=1000 def inside(p): x, y = random.random(), random.random() return x ..
发布时间:2020-09-04 03:05:26 其他开发

火花提交/火花壳>客户模式和集群模式之间的区别

我正在使用YARN运行Spark. 通过链接: http://spark.apache.org/docs/latest/running-on-yarn.html 我找到了不同的纱线模式的解释,即-master 选项,Spark可以通过该选项运行: “有两种部署模式可用于在YARN上启动Spark应用程序.在纱线群集模式下,Spark驱动程序在由YARN管理的群集上的应用程序主进程 ..
发布时间:2020-09-04 02:59:46 其他开发

YARN资源管理器上的Spark:YARN容器与Spark执行器之间的关系

我是YARN上Spark的新手,不了解YARN Containers和Spark Executors之间的关系.我根据yarn-utils.py脚本的结果尝试了以下配置,该配置可用于查找最佳群集配置. 我正在使用的Hadoop集群(HDP 2.4): 1个主节点: CPU:2个CPU,每个6个内核= 12个内核 RAM:64 GB SSD:2 x 512 GB 5个从节点: ..

为什么vcore总是等于YARN上Spark中的节点数?

我有一个具有5个节点的Hadoop集群,每个节点具有12个核心,具有32GB内存.我将YARN用作MapReduce框架,因此我对YARN进行了以下设置: yarn.nodemanager.resource.cpu-vcores = 10 yarn.nodemanager.resource.memory-mb = 26100 然后显示在我的YARN群集页面( http://myhos ..
发布时间:2020-09-04 02:55:26 其他开发

提交后如何退出火花提交

使用spark-submit(YARN模式)提交Spark Streaming程序时 它会不断轮询状态,永远不会退出 提交火花后,spark-submit中是否有退出选项? ===为什么这麻烦我了=== 流式传输程序将永远运行,并且我不需要状态更新 如果我手动启动它,可以按ctrl + c停止它 但是我有很多流媒体上下文要启动,我需要使用脚本启动它们 我可以将spar ..
发布时间:2020-09-04 02:48:41 其他开发

Spark Kill正在运行的应用程序

我有一个正在运行的Spark应用程序,该应用程序占据了所有我的其他应用程序都不会分配任何资源的核心. 我做了一些快速研究,有人建议使用YARN kill或/bin/spark-class终止命令.但是,我正在使用CDH版本,并且/bin/spark-class甚至根本不存在,YARN kill应用程序也不起作用. 有人可以和我一起吗? 解决方案 从火花调度程序中复制应用程序ID ..
发布时间:2020-09-04 02:43:43 其他开发

WARN cluster.YarnScheduler:初始作业未接受任何资源

我运行的任何Spark作业都将失败,并显示以下错误消息 17/06/16 11:10:43 WARN cluster.YarnScheduler:初始作业尚未 接受任何资源;检查您的集群用户界面,以确保工作人员 已注册并具有足够的资源 Spark版本是1.6,在Yarn上运行. 我正在从pyspark发布职位. 您可以从作业时间轴中注意到它是无限期运行的,并且没有添加或删除 ..
发布时间:2020-09-04 02:21:30 其他开发

在纱上使用spark-submits的--archives选项上载zip文件

我有一个包含一些模型文件的目录,由于某种原因,我的应用程序必须访问本地文件系统中的这些模型文件. 当然我知道spark-submit的--files选项可以将文件上传到每个执行程序的工作目录中,并且它确实可以工作. 但是,我想保留文件的目录结构,所以我想出了--archives选项,即 YARN-only: ...... --archives ARCHIVES C ..
发布时间:2020-09-04 01:51:31 其他开发

处理大数据集时出现FetchFailedException或MetadataFetchFailedException

当我运行具有1 GB数据集的解析代码时,它会完成而没有任何错误.但是,当我一次尝试25 gb的数据时,我得到的错误更少.我试图了解如何避免出现以下故障.很高兴听到任何建议或想法. 不同的错误, org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0 ..
发布时间:2020-09-04 01:35:36 其他开发