如何使用色调查找CDH(Cloudera的发行版，包括Apache Hadoop)版本
我只能访问Hue，正在尝试使用Hue查找CDH版本。 你能帮我搬一下吗？ 推荐答案 我没有找到直截了当的答案，但这就是我在色调中找到CDH版本的原因。 我的专用宿主机版本是5.14.2
..
cloudera-cdh相关内容
作业在 Cloudera 5.1 下的 LocalJobRunner 中持续运行
需要一些快速帮助.我们的作业在 MapR 下运行良好，但是当我们在 Cloudera 5.1 上启动相同的作业时，它一直在本地模式下运行. 我确定这是某种配置问题.它是哪个配置设置? 14/08/22 12:16:58 INFO mapreduce.Job: map 0% reduce 0%14/08/22 12:17:03 信息 mapred.LocalJobRunner: map >地
..
如何从 hive cli 将 hive sql 查询作为 mr 作业提交
我已经部署了一个 CDH-5.9 集群，使用 MR 作为 hive 执行引擎.我有一个名为“users"的配置单元表，有 50 行.每当我执行查询 select * from users 工作正常如下: hive>从用户中选择*；行亚当 1 38 ATK093 厨师本杰明 2 24 ATK032 仆人查尔斯 3 45 ATK107 收银员常春藤 4 30 ATK384 仆人琳达 5 23 ATK
..
配置错误:namenode地址dfs.namenode.rpc-address没有配置
当我尝试启动 DataNode 时出现此错误.根据我的阅读，RPC 参数仅用于 HA 配置，我没有设置(我认为). 2014-05-18 18:05:00,589 INFO [main] impl.MetricsSystemImpl (MetricsSystemImpl.java:shutdown(572)) - DataNode 指标系统关闭完成.2014-05-18 18:05:00,589
..
加入表时 Hive 查询出错
我无法使用以下 HIVE 查询通过相等性检查. 我有 3 张桌子，我想加入这些桌子.我尝试如下，但出现错误: FAILED:语义分析错误:第 3:40 行在 JOIN 'visit_date' 中遇到左右别名 select t1.*, t99.* from table1 t1 JOIN(选择 v3.*, t3.* from table2 v3 JOIN table3 t3 ON( v
..
无法使用 Spark 从 HDFS 读取文件
我已经使用 cloudera manager 安装了 cloudera CDH 5. 我可以轻松做到 hadoop fs -ls/input/war-and-peace.txthadoop fs -cat/input/war-and-peace.txt 上面的命令将在控制台上打印整个 txt 文件. 现在我启动 spark shell 并说 val textFile = sc.t
..
在 kerberos 身份验证下使用 JDBC 连接到 impala 时出错
我创建了一个扩展 DriverManagerDataSource 的类 SecureImpalaDataSource，并使用 UserGroupInformation.doAs() 使用 keytab 文件获取到 impala 的连接.但我得到如下错误: java.sql.SQLException: [Simba]ImpalaJDBCDriver 错误为身份验证初始化或创建传输:[Simba
..
Cloudera 上的 Kafka - test=TOPIC_AUTHORIZATION_FAILED
我们刚刚从 CDH 5.3.6 升级到 5.10.0，并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置，没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时，我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com
..
HBase Master 无法启动
我在 CDH 集群 5.7.0 中运行 HBase.几个月没有任何问题运行后，hbase 服务停止了，现在无法启动 HBase 主服务器(1 个主服务器和 4 个区域服务器). 当我尝试在某个时候启动它时，机器挂起，我在主日志中看到的最后一件事是: 2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils:恢
..
构建 Apache Zeppelin 时出错
我已经使用 cloudera 设置了我的 hadoop.我想安装 zeppelin 以连接 hive 并为我的查询构建 UI.使用以下命令构建 zeppelin 命令时: sudo mvn clean package -Pspark-1.3 -Dspark.version=1.3.0 -Dhadoop.version=2.6.0-cdh5.4.7 -Phadoop-2.6 -Pyarn -Dsk
..
Spark 2.x + Tika: java.lang.NoSuchMethodError: org.apache.commons.compress.archivers.ArchiveStreamFactory.detect
我正在尝试解决 Apache Tika (>v 1.14) 解析作业的 spark-submit 类路径运行时问题.问题似乎涉及 spark-submit 类路径与我的 uber-jar. 平台:CDH 5.15(通过 CDH 文档添加的 Spark 2.3) 和 CDH 6(Spark 2.2 捆绑在 CDH 6 中) 我尝试过/评论过: (Cloudera) spark-su
..
在 Cloudera 中使用 serde 加载 JSON 文件
我正在尝试使用具有此包结构的 JSON 文件: {"user_id": "kim95","type": "书","title": "现代数据库系统:对象模型、互操作性及其他.","年": "1995","publisher": "ACM Press and Addison-Wesley",“作者":[{“名称":“空"}],“来源":“DBLP"}{"user_id": "marshallo79
..
Pig : json loader 的结果为空
我正在使用 cdh5 quickstart vm 并且我有一个这样的文件(此处未满): {"user_id": "kim95","type": "书","title": "现代数据库系统:对象模型、互操作性和超过."，"年": "1995","publisher": "ACM Press and Addison-Wesley",“作者":{}，“来源":“DBLP"}{“user_id":“ma
..
Cloudera 上的 Kafka - test=TOPIC_AUTHORIZATION_FAILED
我们刚刚从 CDH 5.3.6 升级到 5.10.0，并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置，没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时，我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com
..
Spark Streaming 应用程序因 KafkaException:字符串超过最大大小或 IllegalArgumentException 而失败
TL;博士: 我非常简单的 Spark Streaming 应用程序在驱动程序中失败，并显示“KafkaException:字符串超出最大大小".我在执行程序中看到了相同的异常，但我也在执行程序日志的某个地方发现了一个 IllegalArgumentException，其中没有其他信息 完整问题: 我正在使用 Spark Streaming 从 Kafka 主题中读取一些消息.这
..
排除CDH中spark-core的依赖
我正在使用 Structured Spark Streaming 写入来自 Kafka 的 HBase 数据. 我的集群分布是:Hadoop 3.0.0-cdh6.2.0，我使用的是 Spark 2.4.0 我的代码如下: val df = spark.readStream.format("卡夫卡").option("kafka.bootstrap.servers", bootstr
..
java.lang.AbstractMethodError, org.apache.spark.internal.Logging$class.initializeLogIfNecessary
我正在 cdh 5.12 中运行 kafka 生产者和消费者代码以进行测试.当我尝试这样做时，我在运行消费者代码时遇到了以下错误. dataSet: org.apache.spark.sql.Dataset[(String, String)] = [key: string, value: string]查询:org.apache.spark.sql.streaming.StreamingQuer
..
如何在Java中使用Scala隐式类
我有一个RecordService API的Scala Implicit类，我想在Java文件中使用它. 包对象spark {隐式类RecordServiceContext(ctx:SparkContext){def recordServiceTextFile(path:String):RDD [String] = {新的RecordServiceRDD(ctx).setPath(path).m
..
如何有效地更新文件非常频繁修改的Impala表
我们有一个基于Hadoop的解决方案(CDH 5.15)，我们在其中的某些目录中获取HDFS中的新文件.在这些目录的顶部，我们有4-5个Impala(2.1)表.在HDFS中写入这些文件的过程是Spark结构化流式传输(2.3.1) 现在，一旦将文件写入HDFS，我们就会运行一些DDL查询: ALTER TABLE table1恢复分区，以检测添加到表中的新分区(及其HDFS目录和文件
..
Impala:显示类似查询的表格
我正在使用Impala，并使用如下所示的模式从数据库中获取表的列表. 假设我有一个数据库 bank ，该数据库下的表如下所示. cust_profilecust_quarter1_transactioncust_quarter2_transactionproduct_cust_xyz........等等 现在我正在过滤 显示银行中的表格，例如"* cust *" 它正在返回预期
..