yarn相关内容

Spark History用户界面不起作用| Ambari |纱

我有一个使用Ambari的hadoop群集设置,该主机具有在主机上运行的HDFS,YARN,spark之类的服务. 当我在群集模式下作为主纱线运行样本spark pi时,该应用程序将成功执行,并且我可以从资源管理器日志中查看相同内容. 但是当我单击历史记录链接时,它不显示火花历史记录UI.如何启用/查看相同的内容? 解决方案 首先,通过在 spark-defaults.conf 文件中查找 ..
发布时间:2020-11-22 03:00:34 其他开发

即使Application Master终止后,纱线应用程序也不会被终止

我的应用程序因为此问题而受苦,即使在终止应用程序主文件之后,该应用程序实际上也没有被终止.它是一个已知的毛线问题 YARN-3561 .它突然出现,因此我在应用程序中开发了一个修复程序,我想对其进行测试.但是到目前为止,这种纱线问题不再重现.有什么可以肯定的方式来复制此问题,以便我可以验证我的修复程序吗? 解决方案 我能够通过使用setsid实用程序将应用程序作为守护进程启动来复制它.这样 ..
发布时间:2020-11-22 02:55:51 其他开发

在单节点上的YARN上运行Spark

我正在学习一些数据科学,并且试图发现和理解与之相关的各种工具. 到目前为止,我已经在Mac OS上安装了Hadoop 2.8.0,并且现在我也想使Spark 2.1.1正常工作.我知道Spark不一定需要Hadoop环境才能工作,但我也知道使其在YARN上运行对于与其他应用程序共享数据很有用. 在在线阅读了不同的指南和建议之后,这就是我要做的事情: 在Hadoop配置文件中,我添 ..
发布时间:2020-11-22 02:55:41 其他开发

纱线api通过elapsedTime获取应用程序

是否有一种简单的方法来查询yarn应用程序api,以获取运行时间超过x倍的应用程序? 以下网址提供了应用列表,但看起来并没有遵循elapsedTime参数 http://:/ws/v1/cluster/apps?states=RUNNING&elapsedTime=200000 解决方案 elapsedTime不是受支持的查询参数. 您可 ..
发布时间:2020-11-22 02:36:42 其他开发

火花提交无法连接

运行命令后 spark-submit --class org.apache.spark.examples.SparkPi --proxy-user yarn --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 1 --queue default ./examp ..
发布时间:2020-11-22 02:35:28 其他开发

如何从容器内部获取YARN ContainerId?

我正在YARN上运行Spark作业,并希望获取YARN容器ID(这是在一组Spark作业中生成唯一ID的要求的一部分).我可以看到解决方案 我能得到的唯一方法是使用日志记录目录.以下内容可在Spark Shell中使用. import org.apache.hadoop.yarn.api.records.ContainerId def f(): String = { val loca ..
发布时间:2020-11-22 02:33:39 其他开发

如果工作节点上未安装Spark(在YARN上),则如何启动Spark Executors?

我有一个关于在集群模式下在YARN上运行的Apache Spark的问题.根据此线程,Spark本身不必安装在集群中的每个(工作)节点上.我的问题出在Spark执行器上:通常,应该由YARN或更确切地说是资源管理器来决定资源分配.因此,可以在集群中的任何(工作)节点上随机启动Spark Executors.但是,如果未在任何(工作)节点上安装Spark,那么YARN如何启动Spark Execut ..
发布时间:2020-11-22 02:32:30 其他开发

YARN MapReduce作业如何处理容器故障?

如何在YARN中处理软件/硬件故障?具体来说,如果发生容器故障/崩溃会怎样? 解决方案 容器和任务失败由节点管理器处理.当容器发生故障或死亡时,节点管理器会检测到故障事件,并启动新容器来替换发生故障的容器,并在新容器中重新开始执行任务. 如果应用程序主服务器发生故障,资源管理器将检测到故障,并使用新的容器启动应用程序主服务器的新实例. 在 ..
发布时间:2020-11-22 02:28:20 其他开发

纱线容器故障时产生火花

供参考:我通过在hadoop/share/hadoop/common中添加Netty 4.1.17解决了这个问题 无论我尝试运行哪种jar(包括 https://spark.apache.org/docs/latest/running-on-yarn.html ),当在Yarn上运行Spark时,我不断收到有关容器故障的错误.我在命令提示符下收到此错误: Diagnostics: Ex ..
发布时间:2020-11-22 02:28:17 其他开发

YARN的工作历史无法访问

我正在使用从源代码构建的最新hadoop版本3.0.0.我已经启动并运行了时间轴服务,并配置了hadoop以便将其用于作业历史记录.但是,当我在resoucemanager UI中单击历史记录时,出现以下错误:- HTTP ERROR 404 Problem accessing /jobhistory/job/job_1444395439959_0001. Reason: NOT ..
发布时间:2020-11-22 02:28:14 其他开发

有没有办法改变Spark中RDD的复制因子?

据我了解,集群中RDD中有多个数据副本,因此在节点发生故障的情况下,程序可以恢复.但是,如果发生故障的机会可以忽略不计,则在RDD中具有多个数据副本将是昂贵的内存.因此,我的问题是,Spark中是否有一个参数可用于减少RDD的复制因子? 解决方案 首先,请注意,Spark不会自动缓存所有RDD,这仅仅是因为应用程序可能会创建许多RDD,而并非所有它们都会被重用.您必须在它们上调用.pers ..
发布时间:2020-11-22 02:13:55 Java开发

如何在YARN中配置垄断FIFO应用程序队列?

我需要在hadoop集群中禁用YARN应用程序的并行执行.现在,YARN具有默认设置,因此可以并行运行多个作业.我看不出这有什么好处,因为这两个作业的运行速度都较慢. 我发现此设置yarn.scheduler.capacity.maximum-applications限制了最大应用程序数,但同时影响了已提交和正在运行的应用程序(如文档所述).我想将提交的应用程序保持在队列中,直到当前正在运行 ..
发布时间:2020-11-22 01:50:49 其他开发

从YARN开始的H2O无法正常工作

在CDH群集上启动H2o时,出现以下错误.我从他的网站下载了所有内容,并按照教程进行操作.我运行的命令是 hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName 它表明没有使用容器.尚不清楚这些设置将在hadoop上进行.我已经给所有设置记忆.内存的0.0是没有意义的,为什么容器不使用内存.集 ..
发布时间:2020-11-22 01:01:12 其他开发

每个执行程序容器的Dataproc设置的vcore数

我正在构建一个将在Dataproc上运行的spark应用程序.我计划使用临时集群,并为应用程序的每次执行增加一个新集群.因此,我基本上希望我的工作尽可能多地消耗集群资源,并且我对要求有很好的了解. 我一直在尝试关闭动态分配,并自行设置执行程序实例和核心.目前,我正在使用6个实例和30个核心. 也许这更像是一个毛线问题,但是我发现容器vCores和我的spark executor内核之间 ..
发布时间:2020-11-18 02:07:26 其他开发