在一台机器上的Hadoop多个数据节点 [英] Hadoop multiple datanodes on single machine

问题描述

我有兴趣在一台Linux机器上配置多个数据节点(例如2).

I'm interested in configuring multiple data nodes (say 2) on a single Linux machine.

我进行了一些研究，并按照教程进行操作，但是没有用.

I made some research and followed a tutorial but didn't work.

如果有人可以提供有效的教程或向我展示如何做.

If someone can give a working tutorial or show me how to do it.

谢谢

推荐答案

您可以在同一节点本身中运行多个datanode实例，而不必创建单独的VM.唯一的事情是您必须为每个datanode实例维护不同的配置.

Instead of creating separate VM's you can run multiple datanode instance in the same node itself. Only thing is you got to maintain different configurations for each datanode instance.

需要为每个datanode守护程序指定不同的端口 在 hdfs-中覆盖以下参数site.xml :

Need to specify different port for each datanode daemons override the following parameters in hdfs-site.xml:

dfs.datanode.address  0.0.0.0:50010  The datanode server address and port for data transfer.
dfs.datanode.http.address    0.0.0.0:50075  The datanode http server address and port.
dfs.datanode.ipc.address     0.0.0.0:50020  The datanode ipc server address and port.

还需要为每个datanode守护程序维护不同的数据目录 覆盖以下参数

Also need to maintain different data directory for each datanode daemons override the following parameters

dfs.datanode.data.dir

这篇关于在一台机器上的Hadoop多个数据节点的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！