ambari相关内容
如何使用 RestSharp 客户端连接到 Ambari 的 Swagger 界面? 此代码有效并返回预期的 json: HttpClientHandler 处理程序 = 新的 HttpClientHandler{Credentials = new System.Net.NetworkCredential("xxx", "yyyyy")};使用 (var httpClient = new
..
我有一个使用大量容器和大量内存的查询.(已使用内存的 97%).有没有办法设置查询中使用的容器数量并限制最大内存?查询正在 Tez 上运行. 提前致谢 解决方案 控制 Mapper 的数量: 映射器的数量取决于各种因素,例如数据在节点之间的分布方式、输入格式、执行引擎和配置参数.另请参阅初始任务并行的工作原理 MR 使用 CombineInputFormat,而 Tez
..
我正在 CentOS 7 机器上安装 Apache Ambari 2.7.5. 我正在遵循 安装指南Apache 网站. 指南第 1 步的最后一个命令 mvn -B 全新安装 rpm:rpm -DnewVersion=2.7.5.0.0 -DbuildNumber=5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpyt
..
如何使用 RestSharp 客户端连接到 Ambari 的 Swagger 界面? 此代码有效并返回预期的 json: HttpClientHandler handler = new HttpClientHandler{Credentials = new System.Net.NetworkCredential("xxx", "yyyyy")};使用 (var httpClient =
..
我正在使用Ranger 1.2.0版.我正在尝试与LDAP用户/组同步集成.下面是护林员的配置. 绑定用户:uid = admin,o = Mobility用户名属性:cn用户对象类:inetOrgPerson用户搜索库:ou = Users,o = Mobility用户搜索过滤器:(&(objectClass = inetOrgPerson)(cn =?))用户搜索范围:cn用户组名称属性:c
..
我已经使用Ambari设置了一个包含3个节点的集群. 现在,我想使用客户端应用程序访问HDFS中的文件. 我可以在Amabari的“数据节点"下找到所有节点URI. 访问文件我需要使用什么URI +端口?我已经使用了默认的安装过程. 解决方案 默认端口为"8020". 您可以通过3种不同的方式访问"hdfs"路径. 只需使用"/"作为根路径 例如 E
..
我正在尝试安装开源hadoop或从要由ambari安装的源构建HDP.我可以看到可以使用apache repos中的文档为每个组件构建java软件包,但是我如何使用这些软件包来构建hortonworks提供的rpm/deb软件包,以便由ambari安装HDP分发. 解决方案 @ShivamKhandelwal从源代码构建Ambari是一项挑战,但可以持久地完成.在这篇文章中,我公开了我最近
..
如何在无头模式下运行spark?目前,我正在集群上的HDP 2.6.4(即默认情况下安装了2.2)上执行spark.我从https://spark.apache.org/downloads.html .确切的名称是:用scala 2.11预先构建,并且用户提供了hadoop 现在,当我尝试运行时,请遵循: https://spark.apache.org/docs/latest/hadoop
..
Spark节俭服务器出现的问题很少 从日志中我们可以看到:无法将RPC 9053901149358924945发送到/DATA NODE MACHINE:50149 请告知为什么会发生这种情况,对此有什么解决方案? 无法将RPC 9053901149358924945发送到/DATA NODE MACHINE:50149:java.nio.channels.ClosedChannel
..
我正在尝试在我的wsl(ubuntu 20.04)上以《 Ambari用户指南》 逐步进行.在将项目安装和打包到deb文件时,请使用命令: mvn -B全新安装jdeb:jdeb -DnewVersion = 2.7.5.0.0 -DbuildNumber = 5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpython.ver
..
我们将log retention hours设置为1小时,如下所示(以前的设置是72H) 使用以下Kafka命令行工具,将kafka retention.ms设置为1H.我们的目的是清除主题-test_topic中早于1H的数据,因此我们使用了以下命令: kafka-configs.sh --alter \ --zookeeper localhost:2181 \ --ent
..
我正在通过Ambari 2.5.0.3安装HDP 2.6,该错误在Hive客户端安装中显示.错误日志: resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/bin/zypper --quiet install --auto-agree-with-licenses --no-confirm mysql-
..
我正在使用3个运行Ubuntu 16.04LTS的虚拟机虚拟机设置ambari集群.但是我收到以下警告: The following hosts have Transparent Huge Pages (THP) enabled. THP should be disabled to avoid potential Hadoop performance issues. 如何在Ubuntu
..
我们正在将Hortonworks HDP 2.1与Ambari 1.6.1一起使用 底层硬件崩溃后,几天前我们重新启动了集群.我们又恢复了一切,但是,Ambari显示了两个服务仍处于关闭状态,即YARN Resource Manager和MapReduce History Server.这两个服务都在运行,通过检查服务器上正在运行的进程以及检查提供的功能来进行验证. Nagios健康检查也可
..
我有一个使用Ambari的hadoop群集设置,该主机具有在主机上运行的HDFS,YARN,spark之类的服务. 当我在群集模式下作为主纱线运行样本spark pi时,该应用程序将成功执行,并且我可以从资源管理器日志中查看相同内容. 但是当我单击历史记录链接时,它不显示火花历史记录UI.如何启用/查看相同的内容? 解决方案 首先,通过在 spark-defaults.conf 文件中查找
..
我已经使用Hortonworks Ambari安装了HDFS,Yarn和Spark.我编写了一些简单的程序来读取/读取HDFS,Map-Reduce字数统计功能,一切正常. 然后我尝试测试Spark.我从官方Spark示例复制了字数统计程序: public final class JavaWordCount { private static final Pattern SPACE
..
我已经使用以下服务设置了Ambari-2.7.5: HDFS 纱线 MAPREDUCE2 HBASE ZOOKEEPER INFRA SOLR AMBARI指标 ATLAS 卡夫卡 诺克斯 LOGSEARCH 除Ambari Metrics之外,所有服务均处于绿色状态.我已经使用 github.com/apache/ambari-metrics 构建ambari-m
..
尝试运行YARN进程并出错时会感到困惑.在查看ambari UI YARN部分时,看到... ➜ h2o-3.26.0.2-hdp3.1 hadoop jar h2odriver.jar -nodes 4 -mapperXmx 5g -output /home/ml1/hdfsOutputDir Determining driver host interface for mapper->dri
..
我正在尝试在docker centos7映像上安装ambari 2.6,但是在ambari设置步骤中,恰好在初始化postgresql db时,我收到此错误: 无法获得D-Bus连接:不允许操作 每次我都遇到此错误 我尝试了网络中的每个解决方案,但仍无济于事。 有人知道如何解决这个问题吗? 预先感谢您 解决方案 使用此命令 docker run -d -
..
我试图按照这些说明,这相对简单。 但是,当构建进入ambari-admin时,它将失败。有几篇文章描述了解决该问题的一种可能的解决方案-编辑“ ... ambari-admin / pom.xml”并设置节点和npm版本以匹配服务器上安装的版本。 不幸的是,这对我不起作用。我尝试了Centos(EPEL)随附的node / npm版本,尝试了apache的最新node / npm版本,
..