cloudera-cdh相关内容

构建Apache Zeppelin时出错

我已经用cloudera设置了我的hadoop.我想安装Zeppelin与蜂巢连接,并为我的查询构建UI.使用以下命令构建zeppelin命令时: sudo mvn clean package -Pspark-1.3 -Dspark.version=1.3.0 -Dhadoop.version=2.6.0-cdh5.4.7 -Phadoop-2.6 -Pyarn -DskipTests ..
发布时间:2020-05-07 20:31:32 其他开发

“客户端和服务器之间没有公共保护层"尝试与kerberized Hadoop集群进行通信时

我正在尝试通过编程方式与使用kerberized(CDH 5.3/HDFS 2.5.0)的Hadoop集群进行通信. 我在客户端有一个有效的Kerberos令牌.但是我收到如下错误,“客户端和服务器之间没有公共保护层". 此错误是什么意思,有什么方法可以解决或解决它? 这与 HDFS-5688 有关吗?该票证似乎暗示必须将属性"hadoop.rpc.protection"设置为“ ..
发布时间:2020-04-25 11:10:08 其他开发

是否可以在Hive中通过组合后连接字符串字段

我正在评估Hive,并且需要在group by之后执行一些字符串字段连接。我找到了一个名为“concat_ws”的函数,但它看起来像我必须明确列出所有要连接的值。我想知道如果我可以在Hive中使用concat_ws做这样的事情。这是一个例子。所以我有一个名为“my_table”的表,它有两个名为country和city的字段。我想每个国家只有一个记录,每个记录将有两个字段 - 国家和城市: ..
发布时间:2018-06-12 14:03:10 其他开发

在Cloudera中加载带有serde的JSON文件

{ “user_id”: 我试图使用这个包结构的JSON文件: “kim95”, “type”:“Book”, “title”:“现代数据库系统:对象模型,互操作性和超越。”, “year”:“1995 “, ”publisher“:”ACM Press和Addison-Wesley“, ”authors“:[ { ”name“:”null“ } ], “source”:“DBLP” } ..
发布时间:2018-06-12 13:47:02 其他开发

从Hive插入到Hbase时出错

我正在使用CDH 4.7.1群集。地图似乎完成了100%并且没有减少部分。 我将下面的部分添加到了hive-site.xml。实际的错误消息粘贴在这篇文章的最后部分。谢谢。任何帮助表示赞赏。 hive.aux.jars.path file:///opt/cloudera/parcels/CDH/lib/hbase/hbase.jar, ..
发布时间:2018-05-31 20:28:34 分布式计算/Hadoop

Hadoop MapReduce(Yarn)使用具有不同功率/规格的主机

我目前在群集中拥有高功率(cpu / ram)主机,我们正在考虑添加一些优质存储,但是低功耗主机。 我担心的是会降低工作表现。来自新的(较弱的)主机的Map / Reducers将运行得更慢,而更强大的主机将只需等待结果。 有没有办法配置这个在纱线?也许可以为主机设置优先级,或根据每台机器上的内核数量来分配映射器/缩减器。 谢谢, Horatiu 解决方案 在YARN中 ..
发布时间:2018-05-31 20:22:00 分布式计算/Hadoop

Oozie - 任务日志不显示

使用CDH 5,当我运行我的oozie工作流程时,我不再看到来自映射器(log4j,slf4j)的日志语句。我什至试过System.out.println - 我仍然没有看到这些陈述。有没有我缺少的设置? 解决方案 事实证明,日志仍然存在,除非您需要手动指向您的浏览器。例如,单击map-reduce动作仍会打开作业日志页面,如( http:// localhost:50030 / jobd ..
发布时间:2018-05-31 20:17:30 分布式计算/Hadoop