ambari相关内容

如何减少查询中的容器数量

我有一个使用大量容器和大量内存的查询.(已使用内存的 97%).有没有办法设置查询中使用的容器数量并限制最大内存?查询正在 Tez 上运行. 提前致谢 解决方案 控制 Mapper 的数量: 映射器的数量取决于各种因素,例如数据在节点之间的分布方式、输入格式、执行引擎和配置参数.另请参阅初始任务并行的工作原理 MR 使用 CombineInputFormat,而 Tez ..
发布时间:2021-12-28 23:22:18 其他开发

CentOS 7 上的 Ambari 2.7.5 安装失败

我正在 CentOS 7 机器上安装 Apache Ambari 2.7.5. 我正在遵循 安装指南Apache 网站. 指南第 1 步的最后一个命令 mvn -B 全新安装 rpm:rpm -DnewVersion=2.7.5.0.0 -DbuildNumber=5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpyt ..
发布时间:2021-12-09 15:26:48 Java开发

护林员LDAP集成用户/组同步问题

我正在使用Ranger 1.2.0版.我正在尝试与LDAP用户/组同步集成.下面是护林员的配置. 绑定用户:uid = admin,o = Mobility用户名属性:cn用户对象类:inetOrgPerson用户搜索库:ou = Users,o = Mobility用户搜索过滤器:(&(objectClass = inetOrgPerson)(cn =?))用户搜索范围:cn用户组名称属性:c ..
发布时间:2021-05-29 20:09:00 其他开发

用于访问HDFS中文件的URI

我已经使用Ambari设置了一个包含3个节点的集群. 现在,我想使用客户端应用程序访问HDFS中的文件. 我可以在Amabari的“数据节点"下找到所有节点URI. 访问文件我需要使用什么URI +端口?我已经使用了默认的安装过程. 解决方案 默认端口为"8020". 您可以通过3种不同的方式访问"hdfs"路径. 只需使用"/"作为根路径 例如 E ..
发布时间:2021-05-13 20:52:36 其他开发

如何从开源Hadoop或由ambari安装的公共可用HDP源代码构建deb/rpm存储库

我正在尝试安装开源hadoop或从要由ambari安装的源构建HDP.我可以看到可以使用apache repos中的文档为每个组件构建java软件包,但是我如何使用这些软件包来构建hortonworks提供的rpm/deb软件包,以便由ambari安装HDP分发. 解决方案 @ShivamKhandelwal从源代码构建Ambari是一项挑战,但可以持久地完成.在这篇文章中,我公开了我最近 ..
发布时间:2021-05-13 20:19:40 其他开发

安装Ambari,无法从Amazon S3下载hortonworks HDP

我正在尝试在我的wsl(ubuntu 20.04)上以《 Ambari用户指南》 逐步进行.在将项目安装和打包到deb文件时,请使用命令: mvn -B全新安装jdeb:jdeb -DnewVersion = 2.7.5.0.0 -DbuildNumber = 5895e4ed6b30a2da8a90fee2403b6cab91d19972 -DskipTests -Dpython.ver ..
发布时间:2021-04-03 19:27:26 其他开发

即使保留时间/大小仍然保留,数据仍然保留在Kafka主题中

我们将log retention hours设置为1小时,如下所示(以前的设置是72H) 使用以下Kafka命令行工具,将kafka retention.ms设置为1H.我们的目的是清除主题-test_topic中早于1H的数据,因此我们使用了以下命令: kafka-configs.sh --alter \ --zookeeper localhost:2181 \ --ent ..

Ambari显示服务已停止

我们正在将Hortonworks HDP 2.1与Ambari 1.6.1一起使用 底层硬件崩溃后,几天前我们重新启动了集群.我们又恢复了一切,但是,Ambari显示了两个服务仍处于关闭状态,即YARN Resource Manager和MapReduce History Server.这两个服务都在运行,通过检查服务器上正在运行的进程以及检查提供的功能来进行验证. Nagios健康检查也可 ..
发布时间:2020-11-22 03:04:52 其他开发

Spark History用户界面不起作用| Ambari |纱

我有一个使用Ambari的hadoop群集设置,该主机具有在主机上运行的HDFS,YARN,spark之类的服务. 当我在群集模式下作为主纱线运行样本spark pi时,该应用程序将成功执行,并且我可以从资源管理器日志中查看相同内容. 但是当我单击历史记录链接时,它不显示火花历史记录UI.如何启用/查看相同的内容? 解决方案 首先,通过在 spark-defaults.conf 文件中查找 ..
发布时间:2020-11-22 03:00:34 其他开发

Ambari-metrics-collector服务未启动

我已经使用以下服务设置了Ambari-2.7.5: HDFS 纱线 MAPREDUCE2 HBASE ZOOKEEPER INFRA SOLR AMBARI指标 ATLAS 卡夫卡 诺克斯 LOGSEARCH 除Ambari Metrics之外,所有服务均处于绿色状态.我已经使用 github.com/apache/ambari-metrics 构建ambari-m ..
发布时间:2020-11-22 02:42:29 Java开发

无法获得D-Bus连接:不允许操作

我正在尝试在docker centos7映像上安装ambari 2.6,但是在ambari设置步骤中,恰好在初始化postgresql db时,我收到此错误: 无法获得D-Bus连接:不允许操作 每次我都遇到此错误 我尝试了网络中的每个解决方案,但仍无济于事。 有人知道如何解决这个问题吗? 预先感谢您 解决方案 使用此命令 docker run -d - ..
发布时间:2020-09-30 20:03:34 其他开发

构建ambari 2.7.5 Centos 7时出错(在ambari-admin步骤失败)

我试图按照这些说明,这相对简单。 但是,当构建进入ambari-admin时,它将失败。有几篇文章描述了解决该问题的一种可能的解决方案-编辑“ ... ambari-admin / pom.xml”并设置节点和npm版本以匹配服务器上安装的版本。 不幸的是,这对我不起作用。我尝试了Centos(EPEL)随附的node / npm版本,尝试了apache的最新node / npm版本, ..
发布时间:2020-09-24 03:15:27 其他开发