Hadoop - 多节点集群

本章介绍了在分布式环境中Hadoop多节点集群的设置.

由于无法演示整个集群,我们正在使用三个系统解释Hadoop集群环境(一个主人和两个奴隶);以下是他们的IP地址.

  • Hadoop Master:192.168.1.15(hadoop-master)

  • Hadoop Slave:192.168.1.16(hadoop-slave-1)

  • Hadoop Slave:192.168.1.17(hadoop-slave-2)

按照下面给出的步骤设置Hadoop多节点群集.

安装Java

Java是主要的Hadoop的先决条件.首先,您应该使用"java -version"验证系统中是否存在java. java version命令的语法如下所示.

$ java -version

如果一切正常,它会给你以下输出.

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果你的系统中没有安装java,那么按照给定的步骤安装java.

步骤1

下载java(JDK< latest version&gt ;  -  X64.tar.gz)访问以下链接 www.oracle.com

然后 jdk-7u71-linux-x64.tar.gz 将下载到您的系统中.

第2步

通常,您会在Downloads文件夹中找到下载的java文件.使用以下命令验证并解压缩 jdk-7u71-linux-x64.gz 文件.

$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz

$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

第3步

使java可用于所有用户,您必须将其移动到"/usr/local/"位置.打开root,然后键入以下命令.

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步骤4

用于设置 PATH JAVA_HOME 变量,将以下命令添加到〜/.bashrc 文件中.

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

现在验证

创建用户帐户

在主系统和从属系统上创建系统用户帐户使用Hadoop安装.

# useradd hadoop 
# passwd hadoop

映射节点

您必须在所有节点上的/etc/文件夹中编辑 hosts 文件,指定IP每个系统的地址后跟其主机名.

# vi /etc/hosts
enter the following lines in the /etc/hosts file.

192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

配置基于密钥的登录

在每个节点中设置ssh,以便他们可以在没有任何密码提示的情况下相互通信.

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub IT屋@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安装Hadoop

在主服务器中,使用以下命令下载并安装Hadoop.

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

配置Hadoop

您必须通过进行以下更改来配置Hadoop服务器.

core-site.xml

打开核心-site.xml 文件并进行编辑,如下所示.

<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

hdfs-site.xml

打开 hdfs-site.xml 文件编辑它,如下所示.

<configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

mapred-site.xml

打开 mapred-site.xml 文件编辑它,如下所示.

<configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

hadoop-env.sh

打开 hadoop-env.sh 文件,编辑JAVA_HOME,HADOOP_CONF_DIR和HADOOP_OPTS,如下所示.

注意 : 根据您的系统配置设置JAVA_HOME.

export JAVA_HOME=/opt/jdk1.7.0_17
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在Slave Servers上安装Hadoop

按照给定的命令在所有从属服务器上安装Hadoop.

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

在主服务器上配置Hadoop

打开主服务器并按照给定的命令对其进行配置.

#su hadoop 
 $ cd/opt/hadoop/hadoop

配置主节点

$ vi etc/hadoop/masters 
hadoop-master

配置从节点

 $ vi etc/hadoop/slaves 
 hadoop-slave-1 
 hadoop-slave-2

Hadoop Master上的格式名称节点

# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format
11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473;
compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 

************************************************************/
11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap
editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 
11/10/14 10:58:08 INFO common.Storage: Storage directory 
/opt/hadoop/hadoop/dfs/name has been successfully formatted.
11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15
************************************************************/

启动Hadoop服务

以下命令是启动Hadoop-Master上的所有Hadoop服务.

$ cd $ HADOOP_HOME/sbin 
$ start-all.sh

在Hadoop集群中添加新的DataNode

以下是步骤:遵循将新节点添加到Hadoop集群.

网络

使用适当的网络配置将新节点添加到现有Hadoop集群.假设以下网络配置.

对于新节点配置 : 去;

IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

添加用户和SSH访问

添加用户

在新节点上,使用以下命令添加"hadoop"用户并将Hadoop用户的密码设置为"hadoop123"或任何您想要的内容.

 useradd hadoop 
 passwd hadoop

设置密码减少从主服务器连接到新奴隶.

在主服务器上执行以下操作

mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/

在奴隶上执行以下操作

登录到Hadoop的.如果没有,请登录hadoop用户.

su hadoop ssh -X hadoop@192.168.1.103

将公钥的内容复制到文件"$ HOME/.ssh/authorized_keys"中,然后通过执行以下命令更改该公钥的权限.

cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

检查主机的ssh登录.现在检查是否可以在没有主密码的情况下ssh到新节点.

ssh hadoop@192.168.1.103或hadoop @ slave3

设置新节点的主机名

您可以在文件/etc/sysconfig/network  

On new slave3 machine

NETWORKING = yes 
HOSTNAME = slave3.in

要使更改生效,请重新启动计算机或将hostname命令运行到具有相应主机名的新计算机(重启是一个不错的选择).

在slave3节点机器 :

hostname slave3.in

更新/etc/hosts on集群中具有以下行和减号的所有机器;

192.168.1.102 slave3.in slave3

现在尝试使用主机名ping机器以检查它是否正在解析为IP.

在新节点机器上 : 去;

ping master.in

在新节点上启动DataNode

使用 $ HADOOP_HOME/bin/hadoop-daemon.sh脚本手动启动datanode守护程序.它将自动联系主(NameNode)并加入群集.我们还应该将新节点添加到主服务器中的conf/slaves文件中.基于脚本的命令将识别新节点.

登录新节点

su hadoop or ssh -X hadoop@192.168.1.103

使用以下命令在新添加的从节点上启动HDFS

./bin/hadoop-daemon.sh start datanode

检查新节点上jps命令的输出.它看起来如下.

 $ jps 
 7141 DataNode 
 10312 Jps

从Hadoop集群中删除DataNode

我们可以在运行时从群集中删除节点,而不会丢失任何数据. HDFS提供退役功能,可确保安全地执行删除节点.要使用它,请按照下面给出的步骤 : 去;

步骤1和减号;登录主人

登录安装了Hadoop的主机用户.

$ su hadoop

第2步和第2步;更改群集配置

必须在启动群集之前配置排除文件.将名为dfs.hosts.exclude的密钥添加到我们的 $ HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中.与此键关联的值提供NameNode本地文件系统上文件的完整路径,该文件系统包含不允许连接到HDFS的计算机列表.

例如,添加这些行到 etc/hadoop/hdfs-site.xml 文件.

<property> 
   <name>dfs.hosts.exclude</name> 
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
   <description>DFS exclude</description> 
</property>

第3步和第3步;确定要停用的主机

每台要退役的计算机都应添加到由hdfs_exclude.txt标识的文件中,每行一个域名.这将阻止它们连接到NameNode.如果要删除DataNode2,"/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt"文件的内容如下所示.

 slave2.in

步骤4 : 强制配置重新加载

运行命令"$ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes",不带引号.

 $ $ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这将强制NameNode重新读取其配置,包括新更新的'排除'文件.它将在一段时间内停用节点,允许每个节点块的时间被复制到计划保持活动的机器上.

On slave2.in ,检查jps命令输出.一段时间后,您将看到DataNode进程自动关闭.

步骤5 : 关闭节点

在停用过程完成后,可以安全地关闭已停用的硬件以进行维护.将report命令运行到dfsadmin以检查decommission的状态.以下命令将描述解除授权节点和连接节点到集群的状态.

$ $ HADOOP_HOME/bin/hadoop dfsadmin -report

步骤6 : 编辑再次排除文件

一旦机器退役,就可以从'excludes'文件中删除它们.再次运行"$ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes"会将排除文件读回NameNode;维护完成后允许DataNodes重新加入群集,或者再次需要群集中的额外容量等.

特别注意 : 如果遵循上述过程并且任务跟踪器进程仍在节点上运行,则需要将其关闭.一种方法是断开机器,就像我们在上述步骤中所做的那样.主人将自动识别该过程并宣布死亡.删除tasktracker不需要遵循相同的过程,因为与DataNode相比,它并不是很重要. DataNode包含您想要安全删除的数据而不会丢失任何数据.

任务跟踪器可以在任何时间通过以下命令动态运行/关闭.

$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker
$HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker