cloudera-cdh相关内容

Cloudera 上的 Kafka - test=TOPIC_AUTHORIZATION_FAILED

我们刚刚从 CDH 5.3.6 升级到 5.10.0,并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置,没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时,我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com ..
发布时间:2021-11-15 00:07:13 其他开发

HBase Master 无法启动

我在 CDH 集群 5.7.0 中运行 HBase.几个月没有任何问题运行后,hbase 服务停止了,现在无法启动 HBase 主服务器(1 个主服务器和 4 个区域服务器). 当我尝试在某个时候启动它时,机器挂起,我在主日志中看到的最后一件事是: 2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils:恢 ..
发布时间:2021-11-15 00:03:21 其他开发

构建 Apache Zeppelin 时出错

我已经使用 cloudera 设置了我的 hadoop.我想安装 zeppelin 以连接 hive 并为我的查询构建 UI.使用以下命令构建 zeppelin 命令时: sudo mvn clean package -Pspark-1.3 -Dspark.version=1.3.0 -Dhadoop.version=2.6.0-cdh5.4.7 -Phadoop-2.6 -Pyarn -Dsk ..
发布时间:2021-11-14 23:50:38 其他开发

在 Cloudera 中使用 serde 加载 JSON 文件

我正在尝试使用具有此包结构的 JSON 文件: {"user_id": "kim95","type": "书","title": "现代数据库系统:对象模型、互操作性及其他.","年": "1995","publisher": "ACM Press and Addison-Wesley",“作者":[{“名称":“空"}],“来源":“DBLP"}{"user_id": "marshallo79 ..
发布时间:2021-11-12 04:05:20 其他开发

Pig : json loader 的结果为空

我正在使用 cdh5 quickstart vm 并且我有一个这样的文件(此处未满): {"user_id": "kim95","type": "书","title": "现代数据库系统:对象模型、互操作性和超过.","年": "1995","publisher": "ACM Press and Addison-Wesley",“作者":{},“来源":“DBLP"}{“user_id":“ma ..
发布时间:2021-11-12 04:03:05 其他开发

Cloudera 上的 Kafka - test=TOPIC_AUTHORIZATION_FAILED

我们刚刚从 CDH 5.3.6 升级到 5.10.0,并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置,没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时,我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com ..
发布时间:2021-11-12 03:05:26 其他开发

Spark Streaming 应用程序因 KafkaException:字符串超过最大大小或 IllegalArgumentException 而失败

TL;博士: 我非常简单的 Spark Streaming 应用程序在驱动程序中失败,并显示“KafkaException:字符串超出最大大小".我在执行程序中看到了相同的异常,但我也在执行程序日志的某个地方发现了一个 IllegalArgumentException,其中没有其他信息 完整问题: 我正在使用 Spark Streaming 从 Kafka 主题中读取一些消息.这 ..
发布时间:2021-11-12 02:48:57 其他开发

排除CDH中spark-core的依赖

我正在使用 Structured Spark Streaming 写入来自 Kafka 的 HBase 数据. 我的集群分布是:Hadoop 3.0.0-cdh6.2.0,我使用的是 Spark 2.4.0 我的代码如下: val df = spark.readStream.format("卡夫卡").option("kafka.bootstrap.servers", bootstr ..
发布时间:2021-11-12 02:06:36 其他开发

如何在Java中使用Scala隐式类

我有一个RecordService API的Scala Implicit类,我想在Java文件中使用它. 包对象spark {隐式类RecordServiceContext(ctx:SparkContext){def recordServiceTextFile(path:String):RDD [String] = {新的RecordServiceRDD(ctx).setPath(path).m ..
发布时间:2021-04-22 19:37:14 其他开发

如何有效地更新文件非常频繁修改的Impala表

我们有一个基于Hadoop的解决方案(CDH 5.15),我们在其中的某些目录中获取HDFS中的新文件.在这些目录的顶部,我们有4-5个Impala(2.1)表.在HDFS中写入这些文件的过程是Spark结构化流式传输(2.3.1) 现在,一旦将文件写入HDFS,我们就会运行一些DDL查询: ALTER TABLE table1恢复分区,以检测添加到表中的新分区(及其HDFS目录和文件 ..
发布时间:2021-04-22 19:37:11 其他开发

Impala:显示类似查询的表格

我正在使用Impala,并使用如下所示的模式从数据库中获取表的列表. 假设我有一个数据库 bank ,该数据库下的表如下所示. cust_profilecust_quarter1_transactioncust_quarter2_transactionproduct_cust_xyz........等等 现在我正在过滤 显示银行中的表格,例如"* cust *" 它正在返回预期 ..
发布时间:2021-04-22 19:36:55 其他开发

如何在hadoop 2.x中并行运行MapReduce任务?

我想要我的地图并减少任务以并行运行.但是,尽管尝试了各种技巧,但它们仍按顺序运行.我从如何在Elastic MapReduce上的Hadoop 2.4.0中设置每个节点的并发运行任务的最大精确数量,使用以下公式,可以设置并行运行的任务数量. min(yarn.nodemanager.resource.memory-mb/mapreduce.[map | reduce] .memory.mb,y ..
发布时间:2021-04-15 19:25:38 其他开发

HBase Master无法启动

我在CDH群集5.7.0中运行了HBase.在运行了几个月没有任何问题之后,hbase服务停止了,现在无法启动HBase主服务器(1个主服务器和4个区域服务器). 当我尝试在某个时候启动它时,机器挂起了,我在主日志中看到的最后一件事是: 2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils: Reco ..
发布时间:2020-11-22 19:01:09 其他开发

找不到webhdfs其余api抛出文件异常

我正在尝试使用webhdfs从命令行从cdh5计算机打开cdh4群集上cdh4群集上存在的hdfs文件,如下所示: curl -i -L“ http:// namenodeIpofCDH4:50070 / webhdfs / v1 / user / quad / source / JSONML.java?user.name = quad& op = OPEN” 即使在名称 ..
发布时间:2020-10-03 00:28:50 其他开发

CDH Community Edition从5.7滚动升级到5.13

有人可以让我知道如何执行CDH从5.7到5.13的滚动升级吗?在Cloudera文档中找不到有关CDH社区版滚动升级的内容吗? 编辑 按照下面的讨论,我可以手动停止,升级(通过“ 1单击安装”)和启动节点来进行升级。在下面的群集中 3 Hbase Master(1个活动和2个备用数据库) 4区域服务器 4个数据节点 1个主& 1次要名称节点 3日记节点 4 Nodema ..
发布时间:2020-10-03 00:28:44 其他开发

Cloudera Manager是否有其他选择? (CDH)

正如Cloudera官方博客所说,从6.3.3开始没有CDH的免费版本,他们将使Cloudera Manager开源,但还没有开源。 是否还有其他项目,例如Cloudera Manager?它可以通过Web UI管理Hadoop组件,尤其是属于Apache项目。 顺便说一句,HDP也不适用于新版本。 解决方案 我正在使用 Cloudera虚拟机 您仍然可以下载 docke ..
发布时间:2020-10-03 00:28:40 其他开发