yarn相关内容
假设有一个Spark作业将从HDFS读取一个名为records.txt的文件,并进行一些转换和一个操作(将处理后的输出写入HDFS).作业将被提交到YARN集群模式 还要假设records.txt是一个128 MB的文件,并且其中一个HDFS复制块也位于NODE 1中 可以说YARN分配的是NODE 1内部的执行程序. YARN如何在输入数据所在的节点中准确分配执行程序?
..
我在具有以下设置的YARN群集(HDP 2.4)中使用Spark: 1个主节点 64 GB RAM(可用50 GB) 24核(可用19核) 5个从节点 每个 64 GB RAM(可用50 GB) 每个24核(可用19核) 纱线设置 (一个主机的)所有容器的内存:50 GB 最小容器大小= 2 GB 最大容器大小= 50 GB vcores = 19 最低#vco
..
我们正在通过spark-submit运行Spark作业,我可以看到在失败的情况下将重新提交该作业. 在纱线容器出现故障或发生任何异常情况时,如何阻止它进行第二次尝试? 这是由于内存不足和“超出GC开销限制"问题引起的. 解决方案 有两个设置可控制重试次数(即,使用YARN进行的ApplicationMaster注册尝试的最大次数被认为是失败的,因此整个Spark应用程序都将被视
..
Apache Spark最近将版本更新为0.8.1,其中提供了yarn-client模式.我的问题是,yarn-client模式的真正含义是什么?在文档中说: 在yarn-client模式下,该应用程序将在本地启动.就像在本地/Mesos/独立模式下运行应用程序或spark-shell一样.启动方法也与它们类似,只需确保当您需要指定主URL时,改用"yarn-client" “在本地启
..
sparklyr R软件包是否可以连接到YARN管理的hadoop集群? 集群部署文档中似乎没有对此进行记录.使用Spark随附的SparkR软件包,可以通过执行以下操作: # set R environment variables Sys.setenv(YARN_CONF_DIR=...) Sys.setenv(SPARK_CONF_DIR=...) Sys.setenv(LD_LIBRA
..
我发现,随着Spark运行,并且表的大小增加(通过Joins),Spark执行程序最终将耗尽内存,整个系统崩溃.即使我尝试将临时结果写入Hive表(在HDFS上),系统仍然不会释放太多内存,并且大约130次加入后,我的整个系统崩溃. 但是,通过实验,我意识到,如果将问题分解成较小的部分,将临时结果写入配置单元表,然后停止/启动Spark会话(和spark上下文),那么系统的资源将被释放.使用
..
在纱线上运行火花时,我总是看到退出代码和退出状态: 以下是一些: CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ...failed 2 times due to AM Container for application_1431523563856_0001_000002 exited with exitCode
..
火花文档具有以下内容描述纱线客户和纱线簇之间区别的段落: 有两种部署模式可用于在YARN上启动Spark应用程序.在群集模式下,Spark驱动程序在由YARN在群集上管理的应用程序主进程中运行,并且客户端可以在启动应用程序后消失.在客户端模式下,驱动程序在客户端进程中运行,并且应用程序主控仅用于从YARN请求资源. 我假设有两个选择是有原因的.如果是这样,您如何选择要使用哪一个?
..
我正在纱线上运行flink(更准确地说是在AWS EMR纱线集群中). 我阅读了flink文档和源代码,这些文档和源代码默认为每个任务管理器容器使用,当从yarn请求资源时,flink将请求每个任务管理器的插槽数作为vcore数. 而且我还从源代码中确认: // Resource requirements for worker containers int ta
..
与HortonWorks或Cloudera不同,AWS EMR似乎没有提供任何GUI来更改各种hadoop生态系统框架的xml配置. 登录到我的EMR名称节点并快速进行 find \ -iname yarn-site.xml 我能够找到它位于/etc/hadoop/conf.empty/yarn-site.xml处,而容量调度器位于/etc/hadoop/conf.empty/ca
..
我有一个AWS EMR集群(emr-4.2.0,Spark 1.5.2),在这里我从aws cli提交步骤.我的问题是,如果Spark应用程序失败,则YARN会尝试再次运行该应用程序(在同一EMR步骤下). 我该如何预防? 我正在尝试设置--conf spark.yarn.maxAppAttempts=1,该设置已在“环境/火花属性"中正确设置,但是并不能阻止YARN重新启动应用程序.
..
我正在使用Amazon EMR在YARN上运行Flink Cluster.我的设置包括用于1个主节点和2个核心节点的m4.large实例.我已经使用以下命令在YARN上启动了Flink CLuster. Flink作业管理器和应用程序管理器启动,但是没有任务管理器在运行. Flink Web界面为任务管理器,任务插槽和可用插槽显示0.但是,当我将作业提交给flink群集时,任务管理器将得到分
..
我正在AWS AWS上学习Spark.在此过程中,我试图了解执行程序数(--num-executors)和执行程序核心数(--executor-cores)之间的区别.有人可以在这里告诉我吗? 当我尝试提交以下工作时,我也收到错误消息: spark-submit --deploy-mode cluster --master yarn --num-executors 1 --execut
..
我正在使用Amazon特定的maximizeResourceAllocation标志针对Spark运行EMR集群(版本为emr-4.2.0),如 我正在使用m3.2xlarge实例作为工作节点运行集群.我正在为YARN主服务器使用单个m3.xlarge-我可以让它运行的最小的m3实例,因为它执行的不多. 情况是这样的:当我运行Spark作业时,每个执行器的请求核心数是8.(我只有在配置"y
..
我正在尝试在EMR中同时运行2个步骤.但是,我总是使第一步运行,第二步未完成. 我的Yarn配置的一部分如下: { "Classification": "capacity-scheduler", "Properties": { "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.ya
..
我遇到此错误,我试图增加群集实例以及执行程序和驱动程序参数上的内存,但没有成功. 17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: java.
..
我正在尝试加载具有1TB数据的数据库,以使用最新的EMR在AWS上触发.而且运行时间是如此之长,以至于什至在6小时之内都无法完成,但是在运行6h30m之后,我收到一些错误消息,宣布Container在 lost 节点上释放,然后工作失败.日志是这样的: 16/07/01 22:45:43 WARN scheduler.TaskSetManager: Lost task 144178.0 in
..
我正在Amazon Elastic Map Reduce(EMR)上的Apache Spark上运行作业.目前,我正在emr-4.1.0上运行,其中包括Amazon Hadoop 2.6.0和Spark 1.5.0. 当我开始工作时,YARN正确地将所有工作节点分配给了spark工作(当然,其中一个是驱动程序). 我将神奇的"maximizeResourceAllocation"属性设
..
是否有一种方法或任何命令可以用来了解每个数据节点的磁盘空间或总群集磁盘空间? 我尝试了命令 dfs -du -h / 但是似乎我没有权限在许多目录中执行它,因此无法获取实际的磁盘空间. 解决方案 从用户界面: http://namenode:50070/dfshealth.html#tab-datanode --->将为您提供有关datanode的所有详细信息.
..
我有一个Spark作业,可以从配置文件中读取数据.该文件是类型安全的配置文件. 读取配置的代码如下: ConfigFactory.load().getConfig("com.mycompany") 现在,由于我想将文件作为外部文件传递,因此我不将application.conf组装为我的uber jar的一部分. 我要使用的外部application.conf的内容如下:
..