如何访问Hadoop HDFS中的文件？
我在Hadoop HDFS中有一个.jar文件（包含我要修改的Java项目），我想在Eclipse中打开。 当我输入 hdfs dfs -ls / user /...我可以看到.jar文件在那里 - 然而，当我打开Eclipse并尝试导入它时，我只需“似乎在任何地方找到它。我在我的文件系统中看到一个hadoop / hdfs文件夹，它将我带到2个文件夹; namenode和namesecon
..
hdfs相关内容
Bash无法创建目录
在docker中，我想将文件 README.md 从现有目录 / opt / ibm / labfiles 复制到新的目录的 /输入的/ tmp 即可。我尝试这个 hdfs dfs -put /opt/ibm/labfiles/README.md input / tmp 无效，因为根目录中似乎没有/输入文件夹。所以我试图创建它： hdfs dfs -mkdir
..
具有Docker的多节点Hadoop集群
我正在基于 Docker 的环境中的多节点 Hadoop 集群的计划阶段。所以它应该是基于一个轻量级易于使用的虚拟化系统。 当前架构（关于文档）包含1个主节点和3个从节点。该主机使用 HDFS 文件系统和 KVM 进行虚拟化。 整个云由 Cloudera Manager 管理。在这个集群上安装了几个Hadoop模块。还有一个 NodeJS 数据上传服务。 这一次，我应该建立一个基于Docke
..
在Hadoop框架中使用的完整的属性列表
我正在对Hadoop框架进行一些研究。我想问一下可以在框架中使用的属性。例如 io.sort.mb io.sort.record.percent 等 是有没有可以参考这个框架的整个属性列表？非常希望有人可以帮助我。 此外，我想问，io.sort.mb和mapreduce.task.io.sort.mb是否有区别？或者他们是一样的？ 解决方案 以下是配置文件分类的配置属
..
Runtimeexception：java.lang.NoSuchMethodException：tfidf $ Reduce。< init>（）
如何解决这个问题：tfidf是我的主要类 为什么运行jar文件后出现这个错误？ java.lang.RuntimeException：java.lang.NoSuchMethodException：tfidf $ Reduce。（） 在org.apache.hadoop.util.ReflectionUtils.newInstance（ReflectionUtils.jav
..
数据块大小在HDFS中，为什么64MB？
HDFS / hadoop的默认数据块大小为64MB。 磁盘块大小通常为4KB。 64MB块大小是什么意思？ - >这是否意味着从磁盘读取的最小单位是64MB 如果有，是什么这样做的好处？ - >容易的大型连续访问在HDFS文件？ 我们可以通过在磁盘使用原来的4KB块大小做？ 解决方案 64MB块大小是什么意思？ 块大小是文件系统可以存储的最小数据单
..
如何处理一个平面文件，JSON字符串作为每一行的一部分，转换为CSV文件使用PIG Loader？
我在HDFS中有一个档案为 44，UK，{“names”：{“name1”：“John” “name2”：“marry”，“name3”：“stuart”}，“fruits”：{“fruit1”：“apple”，“fruit2”：“orange”}}，31-07-2016 b $ b 91，INDIA，{“names”：{“name1”：“Ram”，“name2”：“Sam”}，“fru
..
如何读取HDFS中的文件，而不丢失列和行名称
我的问题是，当我读取一个csv文件包含列名称例如（header），列的名称dissapear和“V1”，“V2”... 我有csv格式的 mtcars 数据集，这里是预览 model，mpg，cyl，disp，hp，drat，wt，qsec，vs，am，gear，carb 马自达RX4,21,6,160,110,3.9,2.62,16.46,0,1， 4,4 Mazda RX4
..
如何从Hdfs读取CSV文件？
我有一个CSV文件中的数据。我想读取HDFS中的CSV文件。 任何人都可以帮助我的代码 我是hadoop的新人。 解决方案 这需要的类是 FileSystem ， FSDataInputStream 和路径。客户端应该是这样： public static void main（String [] args）throws IOException { // TODO自动生成
..
如何将文件从HDFS复制到本地文件系统
如何将文件从HDFS复制到本地文件系统。文件下没有物理位置，甚至没有目录。 解决方案 bin / hadoop fs -get / hdfs / source / path / localfs / destination / path hadoop fs -copyToLocal / hdfs / source / path / localfs / destination / pat
..
如何在Java客户端中获取HDFS服务器元数据信息？
我需要构建一个实用程序类来测试与HDFS的连接。测试应显示HDFS的服务器端版本和任何其他元数据。虽然，有很多客户端演示可用，但没有提取服务器元数据。 请注意，我的客户端是远程java客户端，没有hadoop和HDFS配置文件来初始化配置。我需要通过使用它的URL来连接到HDFS名称节点服务。 解决方案 Hadoop暴露了一些信息HTTP可以使用。请参见 Cloudera 的文章。
..
Hadoop作业和任务跟踪器不工作
当我开始hadoop作业跟踪器和任务跟踪器不工作。 我使用两台电脑。 master- furkanb @ master 192.168.2.135和slave-detay @ slave 192.168.2.250。 xml并在两台计算机上托管相同的文件。 我已写入控制台jps。 JPS 15568 Jps 12126 SecondaryNameNode 118
..
Hadoop 2.2.0中HDFS的配置文件在哪里？
我正在学习Hadoop，目前我正在设置一个Hadoop 2.2.0单节点。我下载最新的发行版，解压缩它，现在我试图设置Hadoop分布式文件系统（HDFS）。 现在，我试图遵循可用的Hadoop指令这里，但我很迷失。 在左侧栏中，引用以下文件： core-default.xml hdfs-default.xml mapred-default.xml yarn-default
..
“hadoop namenode -format”返回java.net.UnknownHostException
我目前正在学习hadoop，我正在尝试设置单一节点测试，如 http ：//hadoop.apache.org/common/docs/current/single_node_setup.html 我已配置ssh（我可以记录没有密码） 。 我的服务器在我们的内部网上，在代理后面。 当我试图运行 bin / hadoop namenode -format 我得到以下ja
..
Hadoop，如何压缩映射器输出，但不是reducer输出
我有一个map-reduce java程序，其中我尝试只压缩映射器输出，但没有reducer输出。我认为这可以通过在配置实例中设置以下属性如下所列。但是，当我运行我的工作，reducer生成的输出仍然是压缩，因为生成的文件是：part-r-00000.gz。有没有人成功地只压缩映射程序数据，但不是reducer？这是可能吗？ //压缩映射程序输出 conf .setBoolean
..
为什么hadoop不能分割一个大的文本文件，然后使用gzip压缩分割？
我最近一直在调查hadoop和HDFS。当您将文件加载到HDFS时，它通常会将文件拆分为64MB的块，并将这些块分布在您的群集周围。除了它不能用gzip'd文件，因为一个gzip'd文件不能拆分。我完全了解为什么是这种情况（我不需要任何人解释为什么gzip'd文件不能拆分）。但是为什么HDFS不会把一个纯文本文件作为输入，并像正常一样拆分，然后使用gzip单独压缩每个拆分？当访问任何分割时，它只是
..
在C ++（libhdfs）中编写hdfs中的文件
我试图用C ++编写一个接口，使用libhdfs.so在hdfs中编写文件。我的目标hadoop版本是2.0.2-alpha 以下代码 hdfsFS fs = hdfsConnect（“127.0.0.1”，8020）; if（！fs） { printf（“Hadoop文件系统返回null。\\\ ”）; return 0; } 在运行时提供以下错误：
..
Hadoop C ++ HDFS测试运行异常
我正在使用Hadoop 2.2.0并尝试运行此 hdfs_test.cpp 应用程序： #include“hdfs.h” int main（int argc，char ** argv）{ hdfsFS fs = hdfsConnect（“default”，0）; const char * writePath =“/tmp/testfile.txt”; hdfsFile
..
Hadoop C ++ HDFS测试运行异常
我正在使用Hadoop 2.2.0并尝试运行此 hdfs_test.cpp 应用程序： #include“hdfs.h” int main（int argc，char ** argv）{ hdfsFS fs = hdfsConnect（“default”，0）; const char * writePath =“/tmp/testfile.txt”; hdfsFile
..
从远程主机访问HDFS通过Java API，用户认证
我需要通过Java API来使用HDFS集群的远程桌面。直到它写访问一切正常确定。如果我试图创建的任何文件，我收到访问权限例外。路径看起来不错，但异常指示这当然是我的远程桌面的用户名是不是我需要访问所需的HDFS目录。 现在的问题是： - 有没有办法使用的Java API“简单”认证重新present不同的用户名？ - ？可否请你指出在Hadoop中的身份验证/授权方案的一些很好的解释/ H
..