HBase - 安装

本章介绍如何安装和初始配置HBase. Java和
Hadoop需要继续使用HBase,因此您必须在系统中下载并安装
java和Hadoop.

预安装设置

在将Hadoop安装到Linux环境之前,我们需要使用 ssh (Secure Shell)设置Linux.按照下面给出的步骤设置Linux环境.

创建用户

首先,建议创建一个单独的用户Hadoop将Hadoop文件系统与Unix文件系统隔离开来.按照以下步骤创建用户.

  • 使用命令"su"打开root.

  • 使用命令"useradd username"从root帐户创建用户.

  • 现在,您可以使用"su username"命令打开现有用户帐户.

打开Linux终端并输入以下命令来创建用户.

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH设置和密钥生成

需要SSH设置才能在集群上执行不同的操作,例如启动,停止和分布式守护程序shell操作.要对Hadoop的不同用户进行身份验证,需要为Hadoop用户提供公钥/私钥对,并与不同的用户共享.

以下命令用于生成密钥值对使用SSH.将公钥从id_rsa.pub复制到authorized_keys,并分别为authorized_keys文件提供所有者,读写权限.

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

验证ssh

ssh localhost

安装Java

Java是Hadoop的主要先决条件和HBase.首先,您应该使用"java -version"验证系统中是否存在java. java version命令的语法如下所示.

$ java -version

如果一切正常,它会给你以下输出.

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统中未安装java,请按照以下步骤安装java.

步骤1

下载java(JDK<最新版本>  -  X64.tar.gz)访问以下链接 Oracle Java .

然后 jdk-7u71-linux-x64.tar.gz 将被下载到您的系统中.

第2步

通常,您会在Downloads文件夹中找到下载的java文件.使用以下命令验证并解压缩 jdk-7u71-linux-x64.gz 文件.

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz

$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

步骤3

使java可用于所有用户,您必须将其移动到"/usr/local/"位置.打开root并输入以下命令.

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第4步

设置路径 JAVA_HOME 变量,将以下命令添加到〜/.bashrc 文件.

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

现在将所有更改应用到当前正在运行的系统.

$ source ~/.bashrc

步骤5

使用以下命令配置java备选方案:

# alternatives --install /usr/bin/java java usr/local/java/bin/java 2

# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2

# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2


# alternatives --set java usr/local/java/bin/java

# alternatives --set javac usr/local/java/bin/javac

# alternatives --set jar usr/local/java/bin/jar

现在从终端验证 java -version 命令,如上所述.

下载Hadoop

安装java后,必须安装Hadoop.首先,使用"Hadoop version"命令验证Hadoop的存在,如下所示.

hadoop version

如果一切正常,它会给你以下输出.

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using
/home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar

如果您的系统无法找到Hadoop,请在系统中下载Hadoop .按照下面给出的命令执行此操作.

下载并解压缩来自Apache Software Foundation的hadoop-2.6.0 使用以下命令.

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

安装Hadoop

以任何所需模式安装Hadoop.在这里,我们以伪分布式模式演示HBase功能,因此以伪分布式模式安装Hadoop.

以下步骤用于安装 Hadoop 2.4.1 .

步骤1  - 设置Hadoop

您可以通过将以下命令附加到〜/.bashrc  file.

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

现在将所有更改应用到当前运行的系统中.

 
 $ source~/.bashrc

第2步 -  Hadoop配置

你可以找到一个将Hadoop配置文件放在"$ HADOOP_HOME/etc/hadoop"位置.您需要根据您的Hadoop基础架构对这些配置文件进行更改.

$ cd $ HADOOP_HOME/etc/hadoop

为了在java中开发Hadoop程序,你必须通过替换 JAVA_HOME <来重置 hadoop-env.sh 文件中的java环境变量/b>系统中java的位置值.

export JAVA_HOME =/usr/local/jdk1.7.0_71

您必须编辑以下文件以配置Hadoop.

core-site.xml

core-site.xml 文件包含诸如用于Hadoop实例的端口号,为文件系统分配的内存,用于存储数据的内存限制以及读/写缓冲区的大小.

打开core-site.xml并在< configuration>之间添加以下属性.和</configuration>标签.

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
   </property>
</configuration>

hdfs-site.xml

hdfs-site.xml 文件包含您希望存储Hadoop基础结构的本地文件系统的复制数据值,namenode路径和datanode路径等信息.

让我们假设以下数据.

dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)

namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)

datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件并在< configuration>,</configuration>之间添加以下属性.标签.

 
< configuration> 
< property> 
< name> dfs.replication</name> 
< value> 1</value> 
</property> 
< property> 
< name> dfs.name.dir</name> 
< value> file:///home/hadoop/hadoopinfra/hdfs/namenode</value> 
</property> 
< property> 
< name> dfs.data.dir</name> 
< value> file:///home/hadoop/hadoopinfra/hdfs/datanode</value> 
</property> 
</configuration>

注意:在上面的文件中,所有属性值都是用户定义的,您可以根据Hadoop基础结构进行更改.

yarn-site.xml

此文件用于将纱线配置为Hadoop.打开yarn-site.xml文件,并在< configuration $ gt;,</configuration $ gt;之间添加以下属性.此文件中的标签.

<configuration>
   <property>
      <name>dfs.replication</name >
      <value>1</value>
   </property>
	
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
   </property>
	
   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
   </property>
</configuration>

mapred-site.xml

此文件用于指定哪个MapReduce框架我们正在使用.默认情况下,Hadoop包含yarn-site.xml的模板.首先,需要使用以下命令将文件从 mapred-site.xml.template 复制到 mapred-site.xml 文件.

$ cp mapred-site.xml.template mapred-site.xml

打开 mapred-site.xml 文件,并在< configuration>之间添加以下属性.和</configuration>标签.

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

验证Hadoop安装

以下步骤用于验证Hadoop的安装.

步骤1  - 名称节点设置

使用命令"hdfs namenode -format"设置namenode,如下所示.

$ cd ~
$ hdfs namenode -format

预期结果如下.

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

第2步 - 验证Hadoop dfs

以下命令用于启动dfs.执行此命令将启动您的Hadoop文件系统.

$ start-dfs.sh

预期输出如下.

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

步骤3  - 验证纱线脚本

以下命令用于启动纱线脚本.执行此命令将启动您的纱线守护进程.

$ start-yarn.sh

预期输出如下.

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步骤4  - 在浏览器上访问Hadoop

访问Hadoop的默认端口号是50070.使用以下网址在您的浏览器上获取Hadoop服务.

http://localhost:50070


浏览器上的Hadoop

步骤5  - 验证群集的所有应用程序

访问群集的所有应用程序的默认端口号是8088.我们以下网址访问此服务.

http://localhost:8088/


Hadoop Applicatin Cluster

安装HBase

我们可以在以下三种模式中的任何一种模式下安装HBase:独立模式,伪分布模式和完全分布模式.

在独立模式下安装HBase

从 http://www.interior下载最新的稳定版HBase表格-dsgn.com/apache/hbase/stable/使用"wget"命令,并使用tar"zxvf"命令将其解压缩.请参阅以下命令.

$cd usr/local/
$wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8-
hadoop2-bin.tar.gz
$tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

切换到超级用户模式并将HBase文件夹移动到/usr/local,如下所示.

$su
$password: enter your password here
mv hbase-0.99.1/* Hbase/

配置HBase in独立模式

在继续使用HBase之前,您必须编辑以下文件并配置HBase.

hbase-env.sh

为HBase设置java Home并从conf文件夹中打开 hbase-env.sh 文件.编辑JAVA_HOME环境变量并将现有路径更改为当前的JAVA_HOME变量,如下所示.

cd /usr/local/Hbase/conf
gedit hbase-env.sh

这将打开HBase的env.sh文件.现在用当前值替换现有的 JAVA_HOME 值,如下所示.

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

hbase-site.xml

这是HBase的主要配置文件.通过打开/usr/local/HBase中的HBase主文件夹,将数据目录设置为适当的位置.在conf文件夹中,您将找到几个文件,打开 hbase-site.xml 文件,如下所示.

#cd /usr/local/HBase/
#cd conf
# gedit hbase-site.xml

hbase-site.xml 文件,您将找到< configuration>和
</configuration>标签.在其中,将HBase目录设置在属性
key下,名称为"hbase.rootdir",如下所示.

<configuration>
   //Here you have to set the path where you want HBase to store its files.
   <property>
      <name>hbase.rootdir</name>
      <value>file:/home/hadoop/HBase/HFiles</value>
   </property>
	
   //Here you have to set the path where you want HBase to store its built in zookeeper  files.
   <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/home/hadoop/zookeeper</value>
   </property>
</configuration>

使用此功能,HBase安装和配置部分已成功完成.我们可以使用HBase的bin文件夹中提供的 start-hbase.sh 脚本启动HBase.为此,打开HBase Home Folder并运行HBase启动脚本,如下所示.

$cd /usr/local/HBase/bin
$./start-hbase.sh

如果一切顺利,当您尝试运行HBase启动脚本时,它会提示您输入HBase的消息已经开始了.

starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out

以伪分布式模式安装HBase

现在让我们检查如何在伪分布式中安装HBase模式.

配置HBase

在继续使用HBase之前,请在本地系统或远程系统上配置Hadoop和HDFS,并确保它们正在运行.如果正在运行,请停止HBase.

hbase-site.xml

编辑要添加的hbase-site.xml文件以下属性.

<property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
</property>

它将提到应该运行HBase的模式.在本地文件系统的同一文件中,使用hdfs:////URI语法更改hbase.rootdir,即HDFS实例地址.我们在端口8030的localhost上运行HDFS.

<property>
   <name>hbase.rootdir</name>
   <value>hdfs://localhost:8030/hbase</value>
</property>

启动HBase

配置完成后,浏览到HBase主文件夹并使用以下命令启动HBase./p>

$cd /usr/local/HBase
$bin/start-hbase.sh

注意:在启动HBase之前,请确保Hadoop正在运行.

检查HDFS中的HBase目录

HBase在HDFS中创建其目录.要查看创建的目录,请浏览到Hadoop bin并键入以下命令.

 
 $ ./bin/hadoop fs -ls/hbase

如果一切顺利,它会给你以下输出.

 
共找到7项
 drwxr-xr-x  -  hbase用户0 2014-06-25 18:58/hbase/.tmp 
 drwxr-xr-x  -  hbase用户0 2014-06-25 21:49/hbase/WALs 
 drwxr-xr-x  -  hbase用户0 2014-06-25 18:48/hbase/corrupt 
 drwxr-xr-x  -  hbase用户0 2014-06-25 18:58/hbase/data 
 -rw-r  -  r-- 3 hbase用户42 2014-06-25 18:41/hbase/hbase.id 
 -rw-r  -  r-- 3 hbase用户7 2014-06-25 18:41/hbase/hbase.version 
 drwxr-xr-x  -  hbase用户0 2014-06-25 21:49/hbase/oldWALs

启动和停止主服务器

使用"local-master-backup.sh",您最多可以启动10台服务器.打开HBase的主文件夹,掌握并执行以下命令启动它.

$ ./bin/hadoop fs -ls /hbase

要杀死备份主机,您需要其进程ID,该ID将存储在名为"/tmp/hbase-USER的文件中-X-master.pid."您可以使用以下命令终止备份主服务器.

$ cat/tmp/hbase -user-1-master.pid | xargs kill -9

启动和停止RegionServers

你可以运行多个来自单个系统的区域服务器使用以下命令.

$ .bin/local-regionservers.sh start 2 3

要停止区域服务器,请使用以下命令.

$ .bin/local- regionservers.sh stop 3

 

启动HBaseShell

之后成功安装HBase,即可启动HBase Shell.下面给出了启动HBase shell时要遵循的步骤顺序.打开终端,以超级用户身份登录.

启动Hadoop文件系统

浏览Hadoop home sbin文件夹并启动Hadoop文件系统,如下图所示.

$cd $HADOOP_HOME/sbin
$start-all.sh

启动HBase

浏览HBase根目录bin文件夹并启动HBase.

 $ cd/usr/local/HBase 
 $./bin/start-hbase.sh

启动HBase主服务器

这将是同一个目录.启动它如下所示.

$./bin/local-master-backup.sh start 2 (number signifies specific
server.)

开始区域

启动区域服务器,如下所示.

$./bin/./local-regionservers.sh start 3

启动HBase Shell

您可以使用以下命令启动HBase shell.

$cd bin
$./hbase shell

这将为您提供HBase Shell提示符,如下所示.

2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri
Nov 14 18:26:29 PST 2014

hbase(main):001:0>

HBase Web界面

要访问HBase的Web界面,请在浏览器中键入以下URL.

http://localhost:60010

此界面列出了您当前正在运行的区域服务器,备份主服务器和HBase表.

HBase区域服务器和备份主服务器

HBase Servers

HBase Tables

HBase Tables

设置Java环境

我们也可以使用Java库与HBase通信,但在使用Java API访问HBase之前,需要为这些库设置类路径.

设置类路径

在继续编程之前,将类路径设置为 .bashrc 文件中的HBase库.在任何编辑器中打开 .bashrc ,如下所示.

$ gedit~/.bashrc

设置HBase库(HBase中的lib文件夹)的类路径,如下所示.

export CLASSPATH = $ CLASSPATH://home/hadoop/hbase/lib/*

这是为了防止访问时"找不到类"异常使用java API的HBase.