分类:分布式计算/Hadoop

分布式计算/Hadoop

无法将文件复制到HDFS

我有HDSF问题。 我无法复制任何文件,但是DataNodes中有足够的空间? 也许我有一些不好的配置? 解决方案 您应该提供具体的细节,例如您得到的例外,您遵循的步骤等等,因为您根本没有指定任何信息,我会说检查配置文件,以确保你有相应的文件中的所有条目: 在core-site.xml中,你应该有 <配置> <属性> <名称> fs.default.name< /名

IT屋 2018/6/1 12:49:19 喜欢

分布式计算/Hadoop

如何用Hadoop实现字符串匹配算法?

我想用Hadoop实现一个字符串匹配(Boyer-Moore)算法。我刚开始使用Hadoop,所以我不知道如何用Java编写Hadoop程序。 到目前为止,我看到的所有示例程序都是字数统计的例子,而我找不到任何字符串匹配的示例程序。 我尝试寻找一些教程,教导如何使用Java编写Hadoop应用程序,但找不到任何。你可以向我推荐一些教程,在这里我可以学习如何使用Java编写Hadoop应

IT屋 2018/6/1 12:49:13 喜欢

分布式计算/Hadoop

使用Mapreduce处理受密码保护的zip文件

我想用Hadoop mapreduce处理密码保护的压缩文件。我能够使用ZipFileInputformat处理未受保护的zip文件。但它不支持密码保护的拉链。 是否有任何Java库提供对受密码保护的zip文件的流访问或提取zip文件(如果我可以使其字节内容可用)? 解决方案 假设您可以找到一个可以读取受密码保护的zip文件的java库(查看这篇博客的文章),你应该可以修改当前的ZipF

IT屋 2018/6/1 12:49:11 喜欢

分布式计算/Hadoop

在MapReduce中聚合

我们如何在.csv中找到列的最大和最小元素。 我们应该将哪些内容传递给映射器的context.write(key,value) 。 是否是该csv文件的每一列? 解决方案 解决方案 这对于SO问题有点宽泛,但我会咬人。 映射器用于将值映射到键。假设您的CSV包含4列数字值: 42,71,45,22 blockquote> 您将键映射到每个值;有效的是什

IT屋 2018/6/1 12:49:06 喜欢

分布式计算/Hadoop

使用python从配置单元查询输出中删除空行

我正在执行配置单元查询并将输出存储在本地FS中的tsv文件中。我为配置单元查询运行for循环并传递不同的参数。如果配置单元查询在for循环中不返回任何输出,它将在tsv文件中输出一个空行。这导致NULL值被推送到我的数据库在后端。因此,在for循环运行并创建文件后 - 我有下面的代码来删除所有打印的空行,但它不起作用。 我从这个文件中删除空行? `395.9 429.61 PT `

IT屋 2018/6/1 12:49:01 喜欢

分布式计算/Hadoop

编译hadoop java文件

我需要编译Java Hadoop程序。 我编译并获取了mapper和reducer的.class文件。 但是当我编译mainjava文件时,我一直收到这个错误。 ,它不能指向mapper和reducer类文件。 我该如何解决这个问题? 解决方案 您必须将所有源文件都提供给javac javac -classpath /usr/local/hadoop/had

IT屋 2018/6/1 12:48:59 喜欢

分布式计算/Hadoop

Hadoop Kerberos安全性

我建立了单节点集群,并且kdc服务器以及客户端在同一台机器上。我尝试了所有可能的选项,但仍然存在相同的错误。 根据答案的建议,我进行了以下更改。 1)在$ JAVA_HOME / jre / lib / security文件夹中安装了JCE jar。 2)我编辑了krb5.conf文件以仅使用aes256-cts加密。 /etc/krb5.conf如下所示, $ b $ [log

IT屋 2018/6/1 12:48:57 喜欢

分布式计算/Hadoop

Hadoop 2.6.0 TestDFSIO基准

所以我建立了一个hadoop 2.6.0群集,我想运行一个基准来测试读写吞吐量。我一直在阅读可以使用TestDFSIO执行此操作的地方,但我无法找到在Hadoop 2.6.0版上运行此程序的方法。有人知道如何运行这个测试,或者是另一种方法吗? 解决方案 HiBench有一个DFSIO的实现。您可以点击此处找到HiBench。

IT屋 2018/6/1 12:48:54 喜欢

分布式计算/Hadoop

Hadoop-Hive |在Hive中将单行列转换为多行

创建日期ID1姓名1年龄1性别1姓名2 ID2年龄2性别2 ID3姓名3年龄3性别3 ... 2014-02-01 1 ABC 21 M MNP 2 22 F 3 XYZ 25 M 2015-06-06 11 LMP 31 F PLL 12 42 M 13 UIP 37 F 此表可能有任何编号。重复设置4列对。这4列的顺序也不是固定的,可能有1或2个列不重复,像creat

IT屋 2018/6/1 12:48:51 喜欢

}