Oozie作业提交失败
我试图提交一个示例map reduce oozie job，并且所有属性都根据路径和名称节点以及job-tracker端口等进行了正确配置.我也验证了workflow.xml.部署作业时，我会得到一个作业ID，当我检查状态时，会看到状态KILLED，详细信息基本上是 /var/tmp/oozie/oozie-oozi7188507762062318929.dir/map-reduce-lau
..
cloudera相关内容
mapreduce，对值进行排序
我的映射器有一个输出: Mapper: KEY, VALUE(Timestamp, someOtherAttrbibutes) 我的减速机确实收到: Reducer: KEY, Iterable 我希望Iterable通
..
Hadoop YARN作业卡在地图0％处并减少0％
我试图运行一个非常简单的作业来测试我的hadoop设置，所以我尝试使用Word Count Example，它被卡在0％内，所以我尝试了其他一些简单的作业，而每个作业都被卡住 52191_0003/ 14/07/14 23:55:51 INFO mapreduce.Job: Running job: job_1405376352191_0003 14/07/14 23:55:57 INFO
..
CDH4主要用于YARN吗?
关于CDH4，我有几个问题甚至是困惑.我之所以张贴在这里，是因为我没有得到关于我的问题的任何具体信息. CDH4是否旨在促进YARN?我尝试使用tarball使用CDH4.3.0设置MapReduce1.我终于做到了，但是这很痛苦.而YARN的建立是遥遥领先的. 有人在生产中使用YARN吗? Apache明确表示YARN仍为Alpha版本，并不打算用于生产.在这种情况下，Clouder
..
hadoop，python，子进程失败，代码为127
我正在尝试使用mapreduce运行非常简单的任务. mapper.py: #!/usr/bin/env python import sys for line in sys.stdin: print line 我的txt文件: qwerty asdfgh zxc 运行作业的命令行: hadoop jar /usr/lib/hadoop-0.20-mapred
..
在oozie中执行时，为什么我的应用程序级别日志消失了?
我在CDH5环境中使用oozie.我也在使用oozie网络控制台.我无法从应用程序中看到任何日志.我可以看到hadoop日志，spark日志等；但我看不到任何应用程序专用日志. 在我的应用程序中，我包含了src/main/resources/log4j.properties # Root logger option log4j.rootLogger=INFO, stdout # Di
..
启用kerberos后，historyserver无法读取日志
我在群集上启用了Kerberos，它工作正常.但是由于某些问题，被映射的用户无法通过JobHistory服务器读取和显示日志.我检查了作业历史记录服务器的日志，并给出了如下访问错误: org.apache.hadoop.security.AccessControlException: Permission denied:user=mapred, access=READ_EXECUTE, in
..
不支持Camel-Kafka安全协议SASL_PLAINTEXT
我需要使用Camel使用身份验证协议Kerberos将ActiveMQ消息路由到Kafka(Cloudera). ActiveMQ v5.15.4 骆驼:2.21.1 Kafka客户:1.1.0 服务器版本:Apache/2.4.6(CentOS) Kafka安全性文档指出，它仅支持 SASL_PLAINTEXT 和 SASL_SSL (用于Kerberos) 另一方面，
..
启用安全性后，运行任何Hadoop命令都会失败.
我正在尝试为我的 CDH 4.3 (通过Cloudera Manager)测试平台启用Kerberos.因此，在WebUI中将身份验证从“简单"更改为Kerberos后，我无法执行任何hadoop操作，如下所示.反正有明确地指定密钥表吗? [root@host-dn15 ~]# su - hdfs -bash-4.1$ hdfs dfs -ls / 13/09/10 08:15:35 ERR
..
使用具有Kerberos身份验证的impyla客户端连接到Impala
我在W8机器上，我在其中使用Python( Anaconda 发行版)通过以下方式连接到我们的 Hadoop 集群中的 Impala : Impyla 软件包.我们的hadoop集群通过 Kerberos 保护.我遵循了 API参考如何进行配置连接. from impala.dbapi import connect conn = connect( host='localhos
..
Livy Server:以JSON格式返回数据帧?
我正在通过使用localhost:8998/sessions/0/statements的HTTP POST调用在Livy Server中执行以下语句，
..
在azure FAILED上部署cloudera，JSON/ARM模板函数'copyIndex'错误
我正在尝试使用下面的链接代码看起来像这样 "name": "master-node", "type": "Microsoft.Resources/deployments", "apiVersion": "2018-11-01", "dependsOn": [ "Micros
..
尝试使用Cloudera Spark Tutorial将无法使用“classnotfoundexception”。
我在类似的现有帖子中尝试过解决方案，但没有一个对我有用:-（变得非常无望，所以我决定将此作为一个新问题发布。 I尝试了一个关于在Cloudera VM中使用Spark构建第一个scala或java应用程序的教程（下面的链接）。 这是我的spark-submit命令及其输出 [cloudera @ quickstart sparkwordcount] $ spark-submit
..
Hive error CDH 5“错误：java.lang.ClassNotFoundException：org.apache.avro.io.DatumWriter”
你好，我试图执行简单的请求。但hive总是返回错误： pre $ 错误：java.lang.ClassNotFoundException：org.apache.avro.io.DatumWriter 在java.net.URLClassLoader $ 1.run（URLClassLoader.java:366） 在java.net.URLClassLoader $ 1.run（URLC
..
Spark作业由于java.lang.NoSuchMethodException而失败：org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions
16/11通过spark-submit运行spark工作时遇到问题/ 16 11:41:12错误yarn.ApplicationMaster：用户类抛出异常：java.lang.NoSuchMethodException：org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions（org.apache.hadoop.fs.Path，
..
创建一个〜40K列的配置表
我试图创建一个相当大的表格。 〜300万行和〜40K列使用配置单元。首先，我创建一个空表并将数据插入表中。然而，当我尝试这样做时出现错误。 无法获取IMPLICIT，100次尝试后共享锁默认值。失败：获取锁定时出错：无法获取底层对象上的锁定。在一段时间后重试 查询非常简单： 创建外部数据库database.dataset（ var1 decimal（10,2），
..
Hive“创建Hive Metastore数据库表”命令使用Cloudera Manager安装“路径A”失败
我正在将Cloudera Manager安装到ec2实例上。我只向群集添加了一个其他ec2实例。 安装成功，但当管理员启动群集服务时（步骤9），我得到 以下错误： [2013-07-12 18:44:35,906]错误63227 [main] com.cloudera.enterprise.dbutil.SqlRunner.open（SqlRunner.java:111）
..
Cloudera Hive在Spark 2.x上？
看看这个： https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#hive_on_spark 总而言之，它表示Hive不能在Cloudera的Spark 2.x上工作。然而，我认为Hive在其他发行版中运行在Spark 2.x上。有没有人配置CDH 5.10.x或更高版本
..
Spark SQL中找不到Hive表 - Cloudera VM中的spark.sql.AnalysisException
我试图通过java程序访问Hive表，但看起来像我的程序在默认数据库中没有看到任何表。然而，我可以看到相同的表格，并通过spark-shell查询它们。我已经在spark conf目录中复制了hive-site.xml。只有区别 - spark-shell正在运行spark版本1.6.0，其中我的java程序正在运行Spark 2.1.0 package spark_210_test ;
..
与SAS的Hadoop连接
我想使用SAS / ACESS 9.3M2接口将sas连接到我的Hive。 我的问题是， sas是否将配置单元导入sas环境并在其中查询？ 或 为了报告的目的，它再次打开配置单元，使其运行MR，从而使我的报告性能降低到超过2-4秒。 如果它将hive表导入其环境，与普通sql立方体相比，它的性能如何？ 我对sas完全陌生我希望我的报告2-4秒我汇总的数据在Hive表格中，然后我
..