将文件从LocalFile复制到hdfs时出现错误信息
我试图将文件从本地复制到 hdfs。在/ / user / hduser / hadoop中使用命令 hadoop dfs -copyFromLocal 显示以下错误消息。请帮助找到问题。 DEPRECATED：不推荐使用此脚本执行hdfs命令。 改为使用hdfs命令。 15/02/02 19:22:23 WARN hdfs.DFSClient ：DataStreamer
..
cloudera相关内容
基于Time Stamp从Hive访问HBase表数据
我已经创建了一个HBase，提供默认版本为10 create'tablename'，{NAME => 'cf'，VERSIONS => 10} 并插入两行（第1行和第2行） 放置'tablename'，'row1'，'cf：id'，'row1id' 放'tablename'，'row1'，'cf：name' ，'row1name' 放'tablename'，'ro
..
Kerberos | Cloudera | KrbException：使用HMAC SHA1-96加密类型AES256 CTS模式
我一直在尝试为使用Cloudera Manager安装程序设置的CDH 4.5安装Kerberos。 这些说明来自以下链接： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.5.2/Configuring-Hadoop-Security-with-Cloudera-Manager/cmeechs
..
cdh3客户端与Apache Hadoop服务器0.20.xx互操作？
我们有一个基于java客户端的 hadoop-core-0.20.2-cdh3u1.jar 。 对于运行Apache分布式0.20.xx的服务器（集群）工作是否安全？ 或者cloudera会破坏一些apache API吗？ 谢谢 解决方案 可能是一个坏主意。尝试与使用hadoop核心版本 0.20.203.0 的客户端在使用cdh3u1的服务器上合作，并得到： org.a
..
如何在Cloudera hadoop中使用外部罐子？
我的集群上安装了cloudera hadoop版本4。 它包含谷歌protobuffer jar版本2.4。 在我的应用程序代码中，我使用了protobuffer 2.5版编译的protobuffer类。 这会在运行时导致未解决的编译问题。 有没有办法使用外部jar来运行map reduce作业，或者我坚持到cloudera升级他们的服务？ 谢谢。 解决方案 是的，您可以
..
Cloudera Hive：在哪里添加json-serde-1.3.7 jar文件
我正在使用cloudera 5.8.0 首先我运行这个命令： 蜂房> ADD JAR /usr/lib/hive/lib/hive-serdes-1.0-SNAPSHOT.jar; 将[/usr/lib/hive/lib/hive-serdes-1.0-SNAPSHOT.jar]添加到类路径 添加资源：[/usr/lib/hive/lib/hive-serdes-1.0 -SN
..
无法在CDH 5.7.5中安装Spark 2.0
我试图在我的CDH 5.7.5群集中安装SPARK 2.0。虽然这样做我得到的误差 CDH（低于5.12）SPARK2所需的包裹（2.0.0.cloudera1-1 .cdh5.7.0.p0.113931）不可用 PS：后续 documentation 解决方案 根据Cloudera的支持，它是5.7和5.8中的一个bug。 添加到@Ruslan答案
..
fs.defaultFS只侦听本地主机的端口8020
我有一台CDH4.3 all-in-one虚拟机启动并正在运行，我试图远程安装hadoop客户机。我注意到，在不更改任何默认设置的情况下，我的hadoop群集正在侦听 127.0.0.1:8020 。 [cloudera @ localhost〜] $ netstat -lent | grep 8020 tcp 0 0 127.0.0.1:8020 0.0.0.0:* LISTEN 4
..
jooq扩展现有的方言。采用MySQL方言来apache Hive方言
我正尝试使用JOOQ来查询Hive。 Hive SQL方言对于MySQL方言来说是相当沉重的。 现在我遇到了这些问题： Hive支持LIMIT N，它不支持LIMIT N OFFSET K. Dummy solution - 覆盖 select.limit（limit）; 这样的问题在JOOQ？ 解决方案 这是最脏的解决方案:) JOOQ用户组不幸回答： publ
..
NameNode地址的URI无效
我试图建立一个 Cloudera Hadoop集群，主节点包含 namenode ， secondarynamenode 和 jobtracker ，另外两个节点包含 datanode 和的TaskTracker 。 Cloudera 版本是4.6，操作系统是ubuntu精确的x64。此外，该集群正在从AWS实例创建。 ssh passwordless 也已设置， Java 安装Oracle-7。
..
将Solr HDFS数据复制到另一个群集
我有一个solr云（v 4.10）安装，位于Cloudera（CDH 5.4.2）HDFS之上，每个虚拟机包含3个solr实例，每个实例都包含每个核心的碎片。 我正在寻找一种方法来逐步将solr数据从我们的生产集群复制到我们的开发集群。有3个核心，但我只是有兴趣复制其中的一个。 我曾尝试使用Solr复制 - 备份和还原，但似乎没有将任何内容加载到开发群集中。 http：// hos
..
Cloudera经理。无法检测到Cloudera Manager Server
我有两台配备了 CentOS 6.5的PC client86-101.aihs.net 80.94。 86.101 client86-103.aihs.net 80.94.86.103 cloudera-manager-server 。我在检测Cloudera Manager Server时遇到了问题（集群安装的第三步。） 问题追踪： BE
..
如何自动化Hadoop垃圾清理
我可以通过运行 hadoop fs -expunge 清除我的用户文件夹下的垃圾桶。这样可以清除比 fs.trash.interval 值。是否有一个清除自动发生恢复磁盘空间？ 另外，我在运行expunge时看到以下输出 [cloudera @ localhost conf] $ hadoop fs -expunge 14/07/17 15:43:54信息fs.TrashPolic
..
无法启动CDH4辅助名称节点：NameNode地址的URI无效
我一直在尝试设置hadoop的CDH4安装。我有12台机器，标有hadoop01 - hadoop12，名称节点，作业跟踪器，所有数据节点都已正常启动。我可以查看dfshealth.jsp并查看它是否找到了所有的数据节点。 但是，每当我尝试启动辅助名称节点时，它都会发出异常： 启动Hadoop secondarynamenode：[OK] 启动secondarynamenode，记录
..
在CDH4.0.1 VM上使用MRV1运行wordcount示例
我从 https下载了虚拟机：//downloads.cloudera.com/demo_vm/vmware/cloudera-demo-vm-cdh4.0.0-vmware.tar.gz 我发现以下列出的服务在系统启动后运行。 MRV1服务 hadoop-0.20-mapreduce-jobtracker hadoop-0.20-mapreduce-tasktracker
..
Spark：检查您的集群用户界面以确保工作人员已注册
我在Spark中有一个简单的程序： / * SimpleApp.scala * / import org.apache .spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf 对象SimpleApp { def main（args： Arra
..
连接拒绝quickstart.cloudera：8020
我正在使用Cloudera-quickstart 5.5.0 virtualbox 尝试在终端上运行此操作。正如你可以在下面，有一个例外。我已经寻找解决方案来解决这个问题，并找到了一些东西。 $ b 配置core-site.xml文件。 https://datashine.wordpress.com/2014/09/06/java-net-connectexception-connecti
..
在MapReduce中使用globStatus过滤输入文件
我有很多输入文件，我想根据最后附加的日期处理选定的文件。我现在困惑我在哪里使用globStatus方法来过滤掉文件。 我有一个自定义的RecordReader类，我试图在其下一个方法中使用globStatus但它没有解决。 public boolean next（Text key，Text value）throws IOException { Path filePath = fil
..
使用FileInputFormat在地图方法中获取行号
我想知道是否可以在我的地图方法中获取行号？ 我的输入文件只是一列值，例如， Apple Orange Banana 是否可以获得键值：1，值：Apple，键值：2，值：Orange ...在我的地图方法中？ 使用CDH3 / CDH4。更改输入数据以便使用KeyValueInputFormat不是一个选项。 谢谢你。 解决方案 InputFor
..
纱线：如何利用完整的集群资源？
30GB内存 4个vCPU 以下是我在调整群集性能时发现的很重要的一些配置（来自Google）。我正在运行： yarn.nodemanager.resource.cpu-vcores = > 4 yarn.nodemanager.resource.memory-mb => 17GB（为操作系统和其他进程保留） > mapreduce.map.memory.mb => 2GB m
..