cloudera-cdh相关内容
我只能访问Hue,正在尝试使用Hue查找CDH版本。 你能帮我搬一下吗? 推荐答案 我没有找到直截了当的答案,但这就是我在色调中找到CDH版本的原因。 我的专用宿主机版本是5.14.2
..
需要一些快速帮助.我们的作业在 MapR 下运行良好,但是当我们在 Cloudera 5.1 上启动相同的作业时,它一直在本地模式下运行. 我确定这是某种配置问题.它是哪个配置设置? 14/08/22 12:16:58 INFO mapreduce.Job: map 0% reduce 0%14/08/22 12:17:03 信息 mapred.LocalJobRunner: map >地
..
我已经部署了一个 CDH-5.9 集群,使用 MR 作为 hive 执行引擎.我有一个名为“users"的配置单元表,有 50 行.每当我执行查询 select * from users 工作正常如下: hive>从用户中选择*;行亚当 1 38 ATK093 厨师本杰明 2 24 ATK032 仆人查尔斯 3 45 ATK107 收银员常春藤 4 30 ATK384 仆人琳达 5 23 ATK
..
当我尝试启动 DataNode 时出现此错误.根据我的阅读,RPC 参数仅用于 HA 配置,我没有设置(我认为). 2014-05-18 18:05:00,589 INFO [main] impl.MetricsSystemImpl (MetricsSystemImpl.java:shutdown(572)) - DataNode 指标系统关闭完成.2014-05-18 18:05:00,589
..
我无法使用以下 HIVE 查询通过相等性检查. 我有 3 张桌子,我想加入这些桌子.我尝试如下,但出现错误: FAILED:语义分析错误:第 3:40 行在 JOIN 'visit_date' 中遇到左右别名 select t1.*, t99.* from table1 t1 JOIN(选择 v3.*, t3.* from table2 v3 JOIN table3 t3 ON( v
..
我已经使用 cloudera manager 安装了 cloudera CDH 5. 我可以轻松做到 hadoop fs -ls/input/war-and-peace.txthadoop fs -cat/input/war-and-peace.txt 上面的命令将在控制台上打印整个 txt 文件. 现在我启动 spark shell 并说 val textFile = sc.t
..
我创建了一个扩展 DriverManagerDataSource 的类 SecureImpalaDataSource,并使用 UserGroupInformation.doAs() 使用 keytab 文件获取到 impala 的连接.但我得到如下错误: java.sql.SQLException: [Simba]ImpalaJDBCDriver 错误为身份验证初始化或创建传输:[Simba
..
我们刚刚从 CDH 5.3.6 升级到 5.10.0,并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置,没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时,我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com
..
我在 CDH 集群 5.7.0 中运行 HBase.几个月没有任何问题运行后,hbase 服务停止了,现在无法启动 HBase 主服务器(1 个主服务器和 4 个区域服务器). 当我尝试在某个时候启动它时,机器挂起,我在主日志中看到的最后一件事是: 2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils:恢
..
我已经使用 cloudera 设置了我的 hadoop.我想安装 zeppelin 以连接 hive 并为我的查询构建 UI.使用以下命令构建 zeppelin 命令时: sudo mvn clean package -Pspark-1.3 -Dspark.version=1.3.0 -Dhadoop.version=2.6.0-cdh5.4.7 -Phadoop-2.6 -Pyarn -Dsk
..
我正在尝试解决 Apache Tika (>v 1.14) 解析作业的 spark-submit 类路径运行时问题.问题似乎涉及 spark-submit 类路径与我的 uber-jar. 平台:CDH 5.15(通过 CDH 文档添加的 Spark 2.3) 和 CDH 6(Spark 2.2 捆绑在 CDH 6 中) 我尝试过/评论过: (Cloudera) spark-su
..
我正在尝试使用具有此包结构的 JSON 文件: {"user_id": "kim95","type": "书","title": "现代数据库系统:对象模型、互操作性及其他.","年": "1995","publisher": "ACM Press and Addison-Wesley",“作者":[{“名称":“空"}],“来源":“DBLP"}{"user_id": "marshallo79
..
我正在使用 cdh5 quickstart vm 并且我有一个这样的文件(此处未满): {"user_id": "kim95","type": "书","title": "现代数据库系统:对象模型、互操作性和超过.","年": "1995","publisher": "ACM Press and Addison-Wesley",“作者":{},“来源":“DBLP"}{“user_id":“ma
..
我们刚刚从 CDH 5.3.6 升级到 5.10.0,并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置,没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时,我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com
..
TL;博士: 我非常简单的 Spark Streaming 应用程序在驱动程序中失败,并显示“KafkaException:字符串超出最大大小".我在执行程序中看到了相同的异常,但我也在执行程序日志的某个地方发现了一个 IllegalArgumentException,其中没有其他信息 完整问题: 我正在使用 Spark Streaming 从 Kafka 主题中读取一些消息.这
..
我正在使用 Structured Spark Streaming 写入来自 Kafka 的 HBase 数据. 我的集群分布是:Hadoop 3.0.0-cdh6.2.0,我使用的是 Spark 2.4.0 我的代码如下: val df = spark.readStream.format("卡夫卡").option("kafka.bootstrap.servers", bootstr
..
我正在 cdh 5.12 中运行 kafka 生产者和消费者代码以进行测试.当我尝试这样做时,我在运行消费者代码时遇到了以下错误. dataSet: org.apache.spark.sql.Dataset[(String, String)] = [key: string, value: string]查询:org.apache.spark.sql.streaming.StreamingQuer
..
我有一个RecordService API的Scala Implicit类,我想在Java文件中使用它. 包对象spark {隐式类RecordServiceContext(ctx:SparkContext){def recordServiceTextFile(path:String):RDD [String] = {新的RecordServiceRDD(ctx).setPath(path).m
..
我们有一个基于Hadoop的解决方案(CDH 5.15),我们在其中的某些目录中获取HDFS中的新文件.在这些目录的顶部,我们有4-5个Impala(2.1)表.在HDFS中写入这些文件的过程是Spark结构化流式传输(2.3.1) 现在,一旦将文件写入HDFS,我们就会运行一些DDL查询: ALTER TABLE table1恢复分区,以检测添加到表中的新分区(及其HDFS目录和文件
..
我正在使用Impala,并使用如下所示的模式从数据库中获取表的列表. 假设我有一个数据库 bank ,该数据库下的表如下所示. cust_profilecust_quarter1_transactioncust_quarter2_transactionproduct_cust_xyz........等等 现在我正在过滤 显示银行中的表格,例如"* cust *" 它正在返回预期
..