hadoop2相关内容

Ambari显示服务已停止

我们正在将Hortonworks HDP 2.1与Ambari 1.6.1一起使用 底层硬件崩溃后，几天前我们重新启动了集群.我们又恢复了一切，但是，Ambari显示了两个服务仍处于关闭状态，即YARN Resource Manager和MapReduce History Server.这两个服务都在运行，通过检查服务器上正在运行的进程以及检查提供的功能来进行验证. Nagios健康检查也可 ..
发布时间：2020-11-22 03:04:52 其他开发

Hadoop 2.6.0-运行启动脚本时询问用户密码?

我已经在ubuntu linux上以伪分布式模式安装了hadoop 2.6.0.除了这个问题，一切都很好.当我运行start-dfs.sh脚本启动守护程序时，它要求输入Linux用户密码.不知道为什么吗?它要求每个守护程序(名称节点，数据节点和秒名称节点)输入密码.您能帮忙解决这个问题吗? huser@ubuntu:~/hadoop$ sbin/start-dfs.sh Starting n ..
发布时间：2020-11-22 03:04:48 其他开发

蜂巢壳无法启动

hadoop_1@shubho-HP-Notebook:~$ hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hadoop_1/apache-hive-2.3.2-bin/lib /log4j-slf4j-im ..
发布时间：2020-11-22 03:04:44 Java开发

如何将输出文件名从reducer中的part-00000更改为输入文件名

当前，我能够在mapper中实现从part-00000到自定义fileName的名称更改.我这样做是通过inputSplit进行的.我在reducer中尝试了同样的操作来重命名文件，但是fileSplit方法不适用于减速器.因此，有没有一种最好的方法来将reducer的输出重命名为inputfile名称.下面是我在mapper中实现它的方式. @Override public voi ..
发布时间：2020-11-22 03:04:34 Java开发

Hive中NULLIF的替换是什么?

我想知道Hive中NULLIF的替代品是什么?我正在使用COALESCE，但不能满足我的要求.我的查询语句类似于: COALESCE(A,B,C) AS D COALESCE将返回第一个NOT NULL值.但是我的A/B/C包含空白值，因此COALESCE并未将该值分配给D，因为它认为空白为NOT NULL.但是我希望将正确的值分配给D. 在SQL中，我本可以使用COALESCE( ..
发布时间：2020-11-22 03:04:31 其他开发

Hive查询结果中的NULL列名

我已经从 NOAA 下载了天气.txt文件，该文件看起来像: WBAN,Date,Time,StationType,SkyCondition,SkyConditionFlag,Visibility,VisibilityFlag,WeatherType,WeatherTypeFlag,DryBulbFarenheit,DryBulbFarenheitFlag,DryBulbCelsius,Dr ..
发布时间：2020-11-22 03:03:26 其他开发

运行mapreduce hadoop作业时，纱线UI中未显示应用程序?

我正在使用Hadoop2.2.我看到我的工作成功完成了.我可以浏览文件系统以找到输出.但是，当我浏览http://NNode:8088/cluster/apps时，无法看到到目前为止已完成的任何应用程序(我运行了3个wordcount作业，但此处未显示任何作业). 是否需要考虑任何配置? 这是yarn-site.xml yarn. ..
发布时间：2020-11-22 03:02:24 其他开发

Hadoop节点管理器不满足最低分配要求

Hadoop节点管理器不满足最低分配要求.我收到以下错误: org.apache.hadoop.yarn.exceptions.YarnRuntimeException:已接收 来自Resourcemanager的SHUTDOWN信号，NodeManager的注册 失败，来自资源管理器的消息:来自的NodeManager DP112.Mas.company.com不满足最低分配要求，正在发送 ..
发布时间：2020-11-22 03:02:21 其他开发

有什么方法可以检查Hadoop文件是否已经打开以进行写入?

我的计算机上正在运行多个Java实例，我想检查是否已在任何实例中以写入(fs.create(file) or fs.append(file))模式打开Hadoop文件. 我在Hadoop文件的FileStatus中进行了尝试，未找到任何内容. 有什么方法可以检查Hadoop文件是否已打开以进行写入? 一种方法是尝试再次创建/附加文件并捕获异常，但是我有成千上万个文件，并且不想尝试 ..
发布时间：2020-11-22 03:00:18 Java开发

即使Application Master终止后，纱线应用程序也不会被终止

我的应用程序因为此问题而受苦，即使在终止应用程序主文件之后，该应用程序实际上也没有被终止.它是一个已知的毛线问题 YARN-3561 .它突然出现，因此我在应用程序中开发了一个修复程序，我想对其进行测试.但是到目前为止，这种纱线问题不再重现.有什么可以肯定的方式来复制此问题，以便我可以验证我的修复程序吗? 解决方案 我能够通过使用setsid实用程序将应用程序作为守护进程启动来复制它.这样 ..
发布时间：2020-11-22 02:55:51 其他开发

Hadoop集群-"hadoop"用户ssh通讯

我正在EC2服务器上设置Hadoop 2.7.3集群-1个NameNode，1个次要NameNode和2个DataNode. Hadoop核心使用SSH与从属进行通信以在从属节点上启动进程. 我们需要在hadoop用户的所有节点上使用相同的SSH密钥吗? 将NameNode复制或添加到Slave节点SSH凭据的最佳实践/理想方法是什么? 解决方案 我们需要在hadoop用 ..
发布时间：2020-11-22 02:43:58 其他开发

如果文件具有不同的列数，如何将数据加载到相同的Hive表

我有一个主表(Employee)，其中有10列，我可以使用load data inpath /file1.txt into table Employee 将数据加载到其中 我的问题是，如果我的文件file2.txt具有相同的列，但缺少第3列和第5列，则如何处理同一张表(雇员).如果我直接加载数据，则最后一列将为NULL NULL.但应该将第3列加载为NULL，将第5列加载为NULL. 假 ..
发布时间：2020-11-22 02:29:35 其他开发

YARN MapReduce作业如何处理容器故障?

如何在YARN中处理软件/硬件故障?具体来说，如果发生容器故障/崩溃会怎样? 解决方案 容器和任务失败由节点管理器处理.当容器发生故障或死亡时，节点管理器会检测到故障事件，并启动新容器来替换发生故障的容器，并在新容器中重新开始执行任务. 如果应用程序主服务器发生故障，资源管理器将检测到故障，并使用新的容器启动应用程序主服务器的新实例. 在 ..
发布时间：2020-11-22 02:28:20 其他开发

纱线容器故障时产生火花

供参考:我通过在hadoop/share/hadoop/common中添加Netty 4.1.17解决了这个问题 无论我尝试运行哪种jar(包括 https://spark.apache.org/docs/latest/running-on-yarn.html )，当在Yarn上运行Spark时，我不断收到有关容器故障的错误.我在命令提示符下收到此错误: Diagnostics: Ex ..
发布时间：2020-11-22 02:28:17 其他开发

HIVE如何根据某些条件更新现有数据(如果存在)以及如何插入新数据(如果不存在)

如果要基于某些条件存在，我想更新现有数据(应更新优先级更高的数据)，如果不存在，请插入新数据. 我已经为此写了一个查询，但是不知何故它在重复行数.这是我所拥有的以及我要实现的目标的完整说明: 我所拥有的: 表1-列-id，info，priority hive> select * from sample1; OK 1 123 1.01 2 234 1.02 ..
发布时间：2020-11-22 02:21:44 其他开发