hadoop-yarn相关内容
我不知道如何解决这个错误: 顶点失败，vertexName = initialmap，vertexId = vertex_1449805139484_0001_1_00，诊断= [任务失败，的TaskID = task_1449805139484_0001_1_00_000003，诊断= [AttemptID:attempt_1449805139484_0001_1_00_000003_0信息:
..
是否可以将一个 spark 作业提交到一个纱线集群并选择，无论是使用命令行还是在 jar 中，哪个用户将“拥有"该作业? spark-submit 将从包含用户的脚本启动. PS:如果集群具有 kerberos 配置(并且脚本是密钥表)，是否还有可能? 解决方案 对于非 kerberized 集群:export HADOOP_USER_NAME=zorro 在提交 Spark
..
我尝试将简单的字数统计作为 MapReduce 作业运行.在本地运行时一切正常(所有工作都在名称节点上完成).但是，当我尝试使用 YARN(将 mapreduce.framework.name=yarn 添加到 mapred-site.conf)在集群上运行它时，作业挂起. 我在这里遇到了类似的问题:MapReduce 作业卡在接受状态 作业输出: *** 开始 ***15/12/2
..
在此先感谢您的帮助 我正在运行以下版本: Hadoop 2.2动物园管理员 3.4.5Hbase 0.96蜂巢0.12 当我访问 http://:50070 时，我能够正确地看到 2 个节点正在运行. 问题是当我访问 http://:8088 时，它显示 0 个节点正在运行. 我知道 :8088 反映了资源管理器并显示了运行的节点管理器的数量.守护进程都启动了，但节点
..
我需要将 Spark 应用程序/作业提交到远程 Spark 集群.我目前在我的机器上有火花，主节点的 IP 地址作为纱线客户端.顺便说一句，我的机器不在集群中.我用这个命令提交我的工作 ./spark-submit --class SparkTest --deploy-mode 客户端/home/vm/app.jar 我将我的主人的地址硬编码到我的应用程序中 val spark_master
..
突然，我的 YARN 集群停止工作，我提交的所有内容都失败并显示“退出代码 1".我想追踪这个问题，但是一旦应用程序失败，YARN 就会删除日志文件.我必须为 YARN 调整哪些配置设置才能保留这些日志文件? 解决方案 您的容器似乎正在退出，退出代码为 1. 您无法在 UI 上看到日志，因为默认情况下，日志聚合处于禁用状态.以下参数确定日志聚合:“yarn.log-aggregati
..
在安装 hadoop 2.2 并尝试启动管道示例后，我得到了以下错误(尝试启动后出现相同的错误 hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt/out): /usr/local/hadoop$ hadoop 管道 -Dhadoop.pipes.java.recordreader=true -Dhadoop
..
命令: hdfs haadmin -getServiceState machine-98 仅当您知道机器名称时才有效.有没有类似的命令: hdfs haadmin -getServiceState 哪个可以告诉您活动名称节点的 IP/主机名? 解决方案 要打印出名称节点，请使用以下命令: hdfs getconf -namenodes 要打印出辅助名称节点: hdfs ge
..
我正在使用 spark-summit 命令执行带有以下参数的 Spark 作业: spark-submit --master yarn-cluster --driver-cores 2 \--driver-memory 2G --num-executors 10 \--executor-cores 5 --executor-memory 2G \--class com.spark.sql.jdb
..
YARN 中的容器是什么?与nodemanager上的任务运行的子JVM相同还是不同? 解决方案 它代表给定集群中单个节点上的资源(内存). 一个容器是 由节点管理器监督 由资源经理安排 一个 MR 任务在这样的容器中运行.
..
yarn.scheduler.maximum-allocation-mb 和 yarn.nodemanager.resource.memory-mb 有什么区别? 我在 yarn-site.xml 中看到了这两个并且我看到了解释 此处. yarn.scheduler.maximum-allocation-mb 给出以下定义: RM 处每个容器请求的最大分配，以 MB 为单位.高于此值的
..
我已经在 windows hadoop-2.7.0 上安装/配置了 Hadoop 我可以成功启动“sbin\start-dfs"运行命令.DataNode 和 NameNode 启动.我可以创建目录，将文件添加到hadoop系统中. 但是现在当我在“resourcemanager"窗口上尝试“sbin/start-yarn"时，我没有看到错误.但它在纱线的“namenode"上失败
..
问题:当我向我的 hadoop 2.2.0 集群提交作业时，它没有显示在作业跟踪器中但作业成功完成.可以看到输出并且它正在正确运行并在运行时打印输出. 我尝试了多个选项，但作业跟踪器没有看到作业.如果我使用 2.2.0 hadoop 运行流式作业，它会显示在任务跟踪器中，但是当我通过 hadoop-client api 提交它时，它不会显示在作业跟踪器中.我正在查看 8088 端口上的 ui
..
我是 Spark 的新手，我正在忙着设置启用 HA 的 Spark 集群. 当通过以下方式启动 spark shell 进行测试时:bash spark-shell --master yarn --deploy-mode client 我收到以下错误(请参阅下面的完整错误):file:/tmp/spark-126d2844-5b37-461b-98a4-3f3de5ece91b/__s
..
我使用的是 Hadoop-2.4.0，我的系统配置是 24 核，96 GB RAM. 我正在使用以下配置 mapreduce.map.cpu.vcores=1yarn.nodemanager.resource.cpu-vcores=10yarn.scheduler.minimum-allocation-vcores=1yarn.scheduler.maximum-allocation-vc
..
我一直在尝试在 YARN client 模式下运行 spark-shell，但是我收到了很多 ClosedChannelException 错误.我正在为 Hadoop 2.6 使用 spark 2.0.0 版本. 以下是例外: $ spark-2.0.0-bin-hadoop2.6/bin/spark-shell --master yarn --deploy-mode 客户端将默认日志级
..
我使用 CDH 5.3.3 并使用 hive JDBC 驱动程序连接到安全集群中的 hive.我尝试使用 使用 keytab 登录 UserGroupInformation.loginUserFromKeytab(lprincipal, keytabpath); 我对 hive url 使用了以下格式. jdbc:hive2://localhost:10000;AuthMech=1
..
我运行了 Hortonworks 的纱线应用程序示例的基本示例.应用程序失败，我想阅读日志以找出原因.但是我在存储我的 mapreduce 作业日志的预期位置 (/HADOOP_INSTALL_FOLDER/logs) 找不到任何文件. 有人知道yarn在哪里存储非mapreduce日志文件吗?我必须在 xml 文件中配置一个特殊目录吗? 解决方案 容器日志应该在 yarn.node
..
我正在尝试在我的 PC 上设置一个单节点 Hadoop 2.6.0 集群. 在访问 http://localhost:8088/cluster 时，我发现我的节点被列为“不健康的节点". 在健康报告中，它提供了错误: 1/1 本地目录不好:/tmp/hadoop-hduser/nm-local-dir;1/1 日志目录不好:/usr/local/hadoop/logs/userlog
..
在 Hadoop v1 中，我分配了每个 7 个映射器和减速器插槽，大小为 1GB，我的映射器和减速机运行良好.我的机器有8G内存，8个处理器.现在使用 YARN，在同一台机器上运行相同的应用程序时，出现容器错误.默认情况下，我有以下设置: yarn.scheduler.minimum-allocation-mb1024ya
..
