cloudera-cdh相关内容
我无法解决此异常,我已经阅读了hadoop docu和我可以找到的所有相关的stackoverflow问题. 我的fileSystem.mkdirs(***)抛出: Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.creat
..
我已经用cloudera设置了我的hadoop.我想安装Zeppelin与蜂巢连接,并为我的查询构建UI.使用以下命令构建zeppelin命令时: sudo mvn clean package -Pspark-1.3 -Dspark.version=1.3.0 -Dhadoop.version=2.6.0-cdh5.4.7 -Phadoop-2.6 -Pyarn -DskipTests
..
Cloudera CDH5.2快速入门VM Cloudera Manager显示所有节点状态=绿色 我在Eclipse上执行了MR工作,包括构建路径中的所有相关cloudera jars: avro-1.7.6-cdh5.2.0.jar, avro-mapred-1.7.6-cdh5.2.0-hadoop2.jar, hadoop-common-2.5.0-cdh5.2.0.jar, had
..
我正在尝试通过编程方式与使用kerberized(CDH 5.3/HDFS 2.5.0)的Hadoop集群进行通信. 我在客户端有一个有效的Kerberos令牌.但是我收到如下错误,“客户端和服务器之间没有公共保护层". 此错误是什么意思,有什么方法可以解决或解决它? 这与 HDFS-5688 有关吗?该票证似乎暗示必须将属性"hadoop.rpc.protection"设置为“
..
我创建一个扩展了DriverManagerDataSource的类SecureImpalaDataSource,并使用UserGroupInformation.doAs()获取带有keytab文件的impala连接.但是我得到如下错误: java.sql.SQLException:[Simba] ImpalaJDBCDriver错误 初始化或创建用于身份验证的传输: [Simba] Impa
..
我正在使用cdh5 quickstart vm,并且我有一个像这样的文件(此处不完整): {"user_id": "kim95", "type": "Book", "title": "Modern Database Systems: The Object Model, Interoperability, and Beyond.", "year": "1995", "publisher
..
我正在评估Hive,并且需要在group by之后执行一些字符串字段连接。我找到了一个名为“concat_ws”的函数,但它看起来像我必须明确列出所有要连接的值。我想知道如果我可以在Hive中使用concat_ws做这样的事情。这是一个例子。所以我有一个名为“my_table”的表,它有两个名为country和city的字段。我想每个国家只有一个记录,每个记录将有两个字段 - 国家和城市:
..
{ “user_id”: 我试图使用这个包结构的JSON文件: “kim95”, “type”:“Book”, “title”:“现代数据库系统:对象模型,互操作性和超越。”, “year”:“1995 “, ”publisher“:”ACM Press和Addison-Wesley“, ”authors“:[ { ”name“:”null“ } ], “source”:“DBLP” }
..
我已经部署了一个MR作为配置单元执行引擎的CDH-5.9集群。我有一个名为“users”的配置表格,有50行。每当我执行查询 select * from users 可以正常工作,如下所示: 蜂房>从用户中选择*; OK Adam 1 38 ATK093 CHEF Benjamin 2 24 ATK032 SERVANT Charles 3 45 ATK107 CA
..
17/03/28 11:40我试图从Scala代码连接HBase,但出现错误。 :53 INFO client.RpcRetryingCaller:调用异常,尝试= 30,重试= 35,开始= 450502毫秒前,取消= false,msg = 17/03/28 11:41:13 INFO client.RpcRetryingCaller:Call例外,try = 31,retries =
..
使用CDH 5.7.2-1.cdh5.7.2.po.18,我试图使用Cloudera Manager将HBase配置为使用可见性标签和授权,如下面的Cloudera社区帖子中所述: 使用Cloudera Manager,我已成功更新了“Cloudera Manager Hbase可见性标签”以下属性的值: hbase.coprocessor.region.classes:设置为org.
..
例如,我将hbase类路径添加到hadoop类路径中: vi /etc/hadoop/conf/hadoop-env.sh 添加行: export HADOOP_CLASSPATH =“/ usr / lib / hbase / bin / hbase classpath:$ HADOOP_CLASSPATH“ 当我运行时: hadoop j
..
我在Java中有两个Hive UDF,它们在Hive中完美工作 。 这两个函数都是互补的。 字符串myUDF(BigInt) BigInt myUDFReverso(String) myUDF(“myInput”)给出了一些输出,当$ myUDFReverso(myUDF(“ myInput“)) 应该返回 myInput Hive,但是当我
..
我正在使用CDH 4.7.1群集。地图似乎完成了100%并且没有减少部分。 我将下面的部分添加到了hive-site.xml。实际的错误消息粘贴在这篇文章的最后部分。谢谢。任何帮助表示赞赏。 hive.aux.jars.path file:///opt/cloudera/parcels/CDH/lib/hbase/hbase.jar,
..
我试图通过Cloudera Manager API重新启动Mapreduce Jobtracker。 Jobtracker的统计信息如下: local-iMac-399:$ curl -u'admin:admin''http:/ /hadoop-namenode.dev.com:7180/api/v6/clusters/Cluster%201/services/mapreduce/role
..
我目前在群集中拥有高功率(cpu / ram)主机,我们正在考虑添加一些优质存储,但是低功耗主机。 我担心的是会降低工作表现。来自新的(较弱的)主机的Map / Reducers将运行得更慢,而更强大的主机将只需等待结果。 有没有办法配置这个在纱线?也许可以为主机设置优先级,或根据每台机器上的内核数量来分配映射器/缩减器。 谢谢, Horatiu 解决方案 在YARN中
..
我想在以下情况下请求您的帮助。 我目前使用Cloudera CDH 5.1.2,并试图使用Flume收集Twitter数据它在下面的porsts(Cloudera)中有描述: http://blog.cloudera.com/blog/2012/10/analyzing -twitter-data-with-hadoop-part-2-gathering-data-with-flume
..
使用CDH 5,当我运行我的oozie工作流程时,我不再看到来自映射器(log4j,slf4j)的日志语句。我什至试过System.out.println - 我仍然没有看到这些陈述。有没有我缺少的设置? 解决方案 事实证明,日志仍然存在,除非您需要手动指向您的浏览器。例如,单击map-reduce动作仍会打开作业日志页面,如( http:// localhost:50030 / jobd
..
我试图在我的CDH 5.7.5群集中安装SPARK 2.0。虽然这样做我得到的误差 CDH(低于5.12)SPARK2所需的包裹(2.0.0.cloudera1-1 .cdh5.7.0.p0.113931)不可用 PS:后续 documentation 解决方案 根据Cloudera的支持,它是5.7和5.8中的一个bug。 添加到@Ruslan答案
..
CDH4的文档引用 /etc/init.d/hadoop - * 脚本,但这些脚本不再存在于CDH5中。 http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-管理指南/ cm5ag_agents.html 新的流程指针和解释(/ es)将不胜感激。 他
..