yarn相关内容

YARN如何在集群模式下了解Apache Spark中的数据局部性

假设有一个Spark作业将从HDFS读取一个名为records.txt的文件,并进行一些转换和一个操作(将处理后的输出写入HDFS).作业将被提交到YARN集群模式 还要假设records.txt是一个128 MB的文件,并且其中一个HDFS复制块也位于NODE 1中 可以说YARN分配的是NODE 1内部的执行程序. YARN如何在输入数据所在的节点中准确分配执行程序? ..
发布时间:2020-09-04 01:31:45 其他开发

如何限制Spark作业失败的重试次数?

我们正在通过spark-submit运行Spark作业,我可以看到在失败的情况下将重新提交该作业. 在纱线容器出现故障或发生任何异常情况时,如何阻止它进行第二次尝试? 这是由于内存不足和“超出GC开销限制"问题引起的. 解决方案 有两个设置可控制重试次数(即,使用YARN进行的ApplicationMaster注册尝试的最大次数被认为是失败的,因此整个Spark应用程序都将被视 ..
发布时间:2020-09-04 01:13:54 其他开发

什么是Spark中的yarn-client模式?

Apache Spark最近将版本更新为0.8.1,其中提供了yarn-client模式.我的问题是,yarn-client模式的真正含义是什么?在文档中说: 在yarn-client模式下,该应用程序将在本地启动.就像在本地/Mesos/独立模式下运行应用程序或spark-shell一样.启动方法也与它们类似,只需确保当您需要指定主URL时,改用"yarn-client" “在本地启 ..
发布时间:2020-09-04 01:03:40 其他开发

一个应用程序可以有多少个SparkSession?

我发现,随着Spark运行,并且表的大小增加(通过Joins),Spark执行程序最终将耗尽内存,整个系统崩溃.即使我尝试将临时结果写入Hive表(在HDFS上),系统仍然不会释放太多内存,并且大约130次加入后,我的整个系统崩溃. 但是,通过实验,我意识到,如果将问题分解成较小的部分,将临时结果写入配置单元表,然后停止/启动Spark会话(和spark上下文),那么系统的资源将被释放.使用 ..
发布时间:2020-09-04 00:41:14 其他开发

Spark yarn cluster vs client-如何选择使用哪一个?

火花文档具有以下内容描述纱线客户和纱线簇之间区别的段落: 有两种部署模式可用于在YARN上启动Spark应用程序.在群集模式下,Spark驱动程序在由YARN在群集上管理的应用程序主进程中运行,并且客户端可以在启动应用程序后消失.在客户端模式下,驱动程序在客户端进程中运行,并且应用程序主控仅用于从YARN请求资源. 我假设有两个选择是有原因的.如果是这样,您如何选择要使用哪一个? ..
发布时间:2020-09-04 00:04:40 其他开发

为什么Flink容器的vcore大小始终为1

我正在纱线上运行flink(更准确地说是在AWS EMR纱线集群中). 我阅读了flink文档和源代码,这些文档和源代码默认为每个任务管理器容器使用,当从yarn请求资源时,flink将请求每个任务管理器的插槽数作为vcore数. 而且我还从源代码中确认: // Resource requirements for worker containers int ta ..
发布时间:2020-09-03 07:00:27 其他开发

如何在AWS EMR上更改纱线调度器配置?

与HortonWorks或Cloudera不同,AWS EMR似乎没有提供任何GUI来更改各种hadoop生态系统框架的xml配置. 登录到我的EMR名称节点并快速进行 find \ -iname yarn-site.xml 我能够找到它位于/etc/hadoop/conf.empty/yarn-site.xml处,而容量调度器位于/etc/hadoop/conf.empty/ca ..
发布时间:2020-08-23 19:42:51 其他开发

如何防止EMR Spark步骤重试?

我有一个AWS EMR集群(emr-4.2.0,Spark 1.5.2),在这里我从aws cli提交步骤.我的问题是,如果Spark应用程序失败,则YARN会尝试再次运行该应用程序(在同一EMR步骤下). 我该如何预防? 我正在尝试设置--conf spark.yarn.maxAppAttempts=1,该设置已在“环境/火花属性"中正确设置,但是并不能阻止YARN重新启动应用程序. ..
发布时间:2020-08-23 02:30:24 其他开发

在YARN群集中提交作业之前,Flink TaskManager不会启动

我正在使用Amazon EMR在YARN上运行Flink Cluster.我的设置包括用于1个主节点和2个核心节点的m4.large实例.我已经使用以下命令在YARN上启动了Flink CLuster. Flink作业管理器和应用程序管理器启动,但是没有任务管理器在运行. Flink Web界面为任务管理器,任务插槽和可用插槽显示0.但是,当我将作业提交给flink群集时,任务管理器将得到分 ..
发布时间:2020-08-23 02:27:00 其他开发

使用Amazon的"maximizeResourceAllocation"的Spark + EMR设置未使用所有核心/vcore

我正在使用Amazon特定的maximizeResourceAllocation标志针对Spark运行EMR集群(版本为emr-4.2.0),如 我正在使用m3.2xlarge实例作为工作节点运行集群.我正在为YARN主服务器使用单个m3.xlarge-我可以让它运行的最小的m3实例,因为它执行的不多. 情况是这样的:当我运行Spark作业时,每个执行器的请求核心数是8.(我只有在配置"y ..
发布时间:2020-08-23 02:19:33 其他开发

如何同时运行2个EMR Spark步骤?

我正在尝试在EMR中同时运行2个步骤.但是,我总是使第一步运行,第二步未完成. 我的Yarn配置的一部分如下: { "Classification": "capacity-scheduler", "Properties": { "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.ya ..
发布时间:2020-08-23 02:11:48 其他开发

EMR Spark-TransportClient:无法发送RPC

我遇到此错误,我试图增加群集实例以及执行程序和驱动程序参数上的内存,但没有成功. 17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: java. ..
发布时间:2020-08-23 02:11:44 其他开发

纱线上的火花模式以“退出状态:-100"结束.诊断:在“丢失"节点上释放的容器"

我正在尝试加载具有1TB数据的数据库,以使用最新的EMR在AWS上触发.而且运行时间是如此之长,以至于什至在6小时之内都无法完成,但是在运行6h30m之后,我收到一些错误消息,宣布Container在 lost 节点上释放,然后工作失败.日志是这样的: 16/07/01 22:45:43 WARN scheduler.TaskSetManager: Lost task 144178.0 in ..
发布时间:2020-08-23 02:09:21 其他开发

为什么EMR上的Yarn不能将所有节点分配给正在运行的Spark作业?

我正在Amazon Elastic Map Reduce(EMR)上的Apache Spark上运行作业.目前,我正在emr-4.1.0上运行,其中包括Amazon Hadoop 2.6.0和Spark 1.5.0. 当我开始工作时,YARN正确地将所有工作节点分配给了spark工作(当然,其中一个是驱动程序). 我将神奇的"maximizeResourceAllocation"属性设 ..
发布时间:2020-08-23 02:08:11 其他开发

知道hadoop中数据节点的磁盘空间吗?

是否有一种方法或任何命令可以用来了解每个数据节点的磁盘空间或总群集磁盘空间? 我尝试了命令 dfs -du -h / 但是似乎我没有权限在许多目录中执行它,因此无法获取实际的磁盘空间. 解决方案 从用户界面: http://namenode:50070/dfshealth.html#tab-datanode --->将为您提供有关datanode的所有详细信息. ..
发布时间:2020-07-14 02:50:46 其他开发

在纱线上将Typesafe配置与Spark配合使用

我有一个Spark作业,可以从配置文件中读取数据.该文件是类型安全的配置文件. 读取配置的代码如下: ConfigFactory.load().getConfig("com.mycompany") 现在,由于我想将文件作为外部文件传递,因此我不将application.conf组装为我的uber jar的一部分. 我要使用的外部application.conf的内容如下: ..
发布时间:2020-07-12 05:22:33 其他开发