分类:分布式计算/Hadoop

分布式计算/Hadoop

无法将文件复制到HDFS

我有HDSF问题。 我无法复制任何文件,但是DataNodes中有足够的空间? 也许我有一些不好的配置? 解决方案 您应该提供具体的细节,例如您得到的例外,您遵循的步骤等等,因为您根本没有指定任何信息,我会说检查配置文件,以确保你有相应的文件中的所有条目: 在core-site.xml中,你应该有 <配置> <属性> <名称> fs.default.name< /名

IT屋 2018/6/1 12:49:19 喜欢

分布式计算/Hadoop

如何用Hadoop实现字符串匹配算法?

我想用Hadoop实现一个字符串匹配(Boyer-Moore)算法。我刚开始使用Hadoop,所以我不知道如何用Java编写Hadoop程序。 到目前为止,我看到的所有示例程序都是字数统计的例子,而我找不到任何字符串匹配的示例程序。 我尝试寻找一些教程,教导如何使用Java编写Hadoop应用程序,但找不到任何。你可以向我推荐一些教程,在这里我可以学习如何使用Java编写Hadoop应

IT屋 2018/6/1 12:49:13 喜欢

分布式计算/Hadoop

使用Mapreduce处理受密码保护的zip文件

我想用Hadoop mapreduce处理密码保护的压缩文件。我能够使用ZipFileInputformat处理未受保护的zip文件。但它不支持密码保护的拉链。 是否有任何Java库提供对受密码保护的zip文件的流访问或提取zip文件(如果我可以使其字节内容可用)? 解决方案 假设您可以找到一个可以读取受密码保护的zip文件的java库(查看这篇博客的文章),你应该可以修改当前的ZipF

IT屋 2018/6/1 12:49:11 喜欢