使用数据初始化Cloudera Hive Docker容器
我正在使用此处描述的图像在Docker容器中运行Cloudera套件： https： //hub.docker.com/r/cloudera/quickstart/ 我具有以下配置： Dockerfile FROM cloudera / quickstart：最新 Docker Compose文件 版本：“ 3.1” 服务： db-hive
..
cloudera相关内容
CDH4：版本冲突：找到接口org.apache.hadoop.mapreduce.Counter，但是应该使用类
我正在尝试从CDH3升级到CDH4，并且从编译到运行时遇到版本冲突。 我遇到此错误： 线程“ main”中的异常java.lang.IncompatibleClassChangeError：找到了接口org.apache.hadoop.mapreduce.Counter，但期望使用类 从谷歌搜索看来，我的代码似乎是针对Hadoop 1.x编译的，并且正在Hadoop 2.0上运行。 我
..
hdfs-ls：发生本地异常失败：com.google.protobuf.InvalidProtocolBufferException：
我正在尝试使用以下内容在hdfs中列出我的目录： ubuntu @ ubuntu：〜$ hadoop fs- ls hdfs：//127.0.0.1：50075 / ls：发生本地异常失败：com.google.protobuf.InvalidProtocolBufferException： 协议消息端组标记与预期标记不匹配。 主机详细信息：本地主机为：“ ubuntu / 127.
..
Spark History Server Spark UI作业部分中的什么是“活动作业”
我正在尝试了解Spark History服务器组件。 我知道，“历史记录”服务器显示已完成的Spark应用程序。 不过，我看到已完成的Spark应用程序的“活动作业”设置为1。我试图了解“职位”部分中的“有效职位”是什么意思。 此外，应用程序在30分钟内完成，但是当我在8小时后打开History Server时，“持续时间”显示为8.0h。 请参阅屏幕截图。 能否请您帮助我理解上
..
错误hive.HiveConfig：无法加载org.apache.hadoop.hive.conf.HiveConf。确保正确设置HIVE_CONF _DIR
我正在尝试将数据从sqoop导入到配置单元中 MySQL 使用样本； 创建表forhive（id int auto_increment， 姓氏varchar（36）， 姓氏varchar（36）， 主键（id） ） ; 插入forhive（firstname，lastname）values（“ sample”，“ singh”）; select * from for
..
Impala表中的压缩
我想了解Impala表中的压缩，但是找不到要研究的材料。 有什么不同的技术，可以在哪里找到研究的材料。 解决方案 compaction 是为了避免小文件问题，这取决于您的用例。 例如，您可能有一个将小文件写入 HDFS 的过程，而您想查询这些文件，例如 Impala表。您可以为这些小文件使用临时表，并使用 INSERT INTO加载基本表 TABLE base_table SELE
..
YARN应用程序已退出，退出代码为：-1000无法初始化用户目录
我得到： 应用程序application_1427711869990_0001由于AM容器两次失败，导致appattempt_1427711869990_0001_000002退出，退出代码为-1000，原因是：无法在用户kailash 的任何已配置本地目录中初始化用户目录。此尝试失败。 我找不到与该退出代码和相关原因有关的任何东西。我正在使用Hadoop 2.5.0（C
..
客户端无法通过以下方式进行身份验证：[TOKEN，KERBEROS]
我正在使用YarnClient以编程方式开始工作。我正在运行的群集已使用kerberos化。 法线贴图减少了通过“ yarn jar examples.jar wordcount ...”提交的工作。 我要以编程方式提交的工作没有。我收到此错误： 14/09/04 21:14:29错误client.ClientService：在应用程序提交期间发生错误：Application a
..
是否可以更改Hive中分区表上的列的元数据？
这是我之前提出的问题的扩展：可以在HIVE中更改分区元数据吗？ 我们正在探索更改表上元数据的想法，而不是对表上执行CAST操作。 SELECT语句中的数据。更改MySQL Metastore中的元数据非常容易。但是，是否有可能将元数据更改应用于分区表（每天）上的列？注意：该列本身不是分区列。这是一个简单的ID字段，已从STRING更改为BIGINT。 否则，当历史记录为STRING时，
..
HDFS作为Cloudera QuickStart Docker中的卷
我对hadoop和docker都是陌生的. 我一直在致力于扩展cloudera/quickstart docker image docker文件，并想挂载目录形式的主机并将其映射到hdfs位置，以便提高性能并持久保存数据. 当我使用-v /localdir:/someDir在任何地方加载卷时，一切都正常，但这不是我的目标.但是当我做-v /localdir:/var/lib/hadoo
..
在Spark Streaming中，有没有一种方法可以检测批处理何时完成?
我在Cloudera 5.8.3中使用Spark 1.6.0. 我有一个DStream对象，并在其上面定义了许多转换， val stream = KafkaUtils.createDirectStream[...](...) val mappedStream = stream.transform { ... }.map { ... } mappedStream.foreachRDD { .
..
CDH4-异常:java.lang.IncompatibleClassChangeError:
启动Pig脚本时出现Java问题，似乎是某些依赖项或版本冲突，正在运行Debian/Cloudera CDH4/Apache Pig java.lang.Exception: java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.Counter, but class was ex
..
猪铸件/数据类型
我正在尝试将关系转储到AVRO文件中，但出现一个奇怪的错误: org.apache.pig.data.DataByteArray cannot be cast to java.lang.CharSequence 我不使用DataByteArray(字节数组)，请参见下面的关系描述. sensitiveSet: {rank_ID: long,name: chararray,custo
..
无法删除HDFS损坏的文件
我无法删除HDFS中存在的损坏文件. Namenode已进入安全模式.块总数为980，其中已报告978.当我运行以下命令时， sudo -u hdfs hdfs dfsadmin -report 生成的报告是 Safe mode is ON Configured Capacity: 58531520512 (54.51 GB) Present Capacity: 357740789
..
VM cloudera-用户cloudera和权限?
我下载并安装了VM Cloudera 4.4以与Hadoop一起玩.我已经在工作平台上建立了集群，因此我对hadoop的工作原理有所了解.因此，我认为我的问题来自对Linux及其用户和团体的误解. 带有Hive: 我尝试用外壳创建一个配置单元表，并且该表有效.我在/user/hive/warehouse/test女巫中有一张桌子，它属于组cloudera的用户cloudera.
..
错误:140770FC:SSL例程:SSL23_GET_SERVER_HELLO:未知协议
我目前正在尝试测试已实现的更改，以在Cloudera Hadoop环境中使用Encrypted Shuffle实现安全性. 我已经创建了证书和密钥库，并将它们保存在适当的位置. 我正在测试TaskTracker的HTTPS端口50060. 当我在该端口上卷曲时，我得到的错误响应以下. ubuntu@node2:~$ curl -v -k "https://10.0.10.9
..
通过SQOOP操作在OOZIE中列出MS SQL Server表
我能够在CLI中完美执行以下SQOOP命令. sqoop list-tables --connect 'jdbc:sqlserver://xx.xx.xx.xx\MSSQLSERVER2012:1433;username=usr;password=xxx;database=db' --connection-manager org.apache.sqoop.manager.SQLServerM
..
在Cloudera中未创建的服务特定用户
在安装cloudera时我没有遇到任何麻烦，但我只是意识到应该在我的centos机器上创建像oozie和hdfs这样的用户，我想应该在/home目录下? 但是我的主目录下没有这样的用户，我无法通过su oozie命令以oozie用户身份登录.是安装问题还是有其他解决方法? 现在，我正在尝试在oozie sharelib文件夹中复制一个jar，它不允许通过root用户这样做，并且看不到此
..
OOZIE:发生连接异常[java.net.ConnectException连接被拒绝(连接被拒绝)]
我正在尝试在以下人员的帮助下执行Oozie作业: 网址: https://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch05.html 执行时 oozie job -run -config target/example/job.properties 获取错误为: Connection exc
..
可能的内存问题使Hbase Thrift Server崩溃
我正在将Hera和Hbase Thrift Server与Cloudera CDH4一起运行.一天几次，Thrift服务器都会崩溃. 在/var/log/hbase/hbase-hbase-thrift-myserver.out中，有以下内容: # # java.lang.OutOfMemoryError: Java heap space # -XX:OnOutOfMemoryErro
..