Apache Solr教程

Apache Solr - 在Hadoop上

Solr可以与Hadoop一起使用.由于Hadoop处理大量数据，Solr帮助我们从如此庞大的源中查找所需信息.在本节中，让我们了解如何在系统上安装Hadoop.

下载Hadoop

以下是下载要遵循的步骤Hadoop到你的系统上.

第1步 : 转到Hadoop的主页.你可以使用链接 : www.hadoop.apache.org/.点击链接发布，如以下屏幕截图所示.

Hadoop主页

它会将您重定向到 Apache Hadoop Releases 页面，其中包含各种版本Hadoop的源文件和二进制文件镜像的链接，如下所示;

Hadoop Releases

第2步 : 选择最新版本的Hadoop(在我们的教程中，它是2.6.4)并单击其二进制链接.它将带您进入可以使用Hadoop二进制文件镜像的页面.单击其中一个镜像以下载Hadoop.

从命令提示符下载Hadoop

打开Linux终端并以超级用户身份登录.

$ su 
password:

转到您需要的目录安装Hadoop，并使用之前复制的链接将文件保存在那里，如下面的代码块所示.

# cd /usr/local 
# wget http://redrockdigimark.com/apachemirror/hadoop/common/hadoop-
2.6.4/hadoop-2.6.4.tar.gz

下载Hadoop后，使用以下命令解压缩.

# tar zxvf hadoop-2.6.4.tar.gz  
# mkdir hadoop 
# mv hadoop-2.6.4/* to hadoop/ 
# exit

安装Hadoop

按照以下步骤在伪分布式模式下安装 Hadoop .

步骤1:设置Hadoop

你可以设置e Hadoop环境变量通过将以下命令附加到〜/.bashrc 文件.

export HADOOP_HOME = /usr/local/hadoop export
HADOOP_MAPRED_HOME = $HADOOP_HOME export
HADOOP_COMMON_HOME = $HADOOP_HOME export 
HADOOP_HDFS_HOME = $HADOOP_HOME export 
YARN_HOME = $HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR = $HADOOP_HOME/lib/native 
export PATH = $PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
export HADOOP_INSTALL = $HADOOP_HOME

接下来，将所有更改应用到当前运行的系统中.

$ source ~/.bashrc

第2步:Hadoop配置

您可以在"$ HADOOP_HOME/etc/hadoop"位置找到所有Hadoop配置文件.需要根据您的Hadoop基础架构对这些配置文件进行更改.

$ cd $HADOOP_HOME/etc/hadoop

为了用Java开发Hadoop程序，你必须通过替换 JAVA_HOME来重置 hadoop-env.sh 文件中的Java环境变量系统中Java的位置值.

export JAVA_HOME = /usr/local/jdk1.7.0_71

以下是您必须编辑以配置Hadoop&minus的文件列表;

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml

core-site.xml

core-site.xml 文件包含诸如用于Hadoop实例的端口号，为文件系统分配的内存，用于存储数据的内存限制以及读/写缓冲区大小等信息.

打开core-site.xml并在< configuration>，</configuration>中添加以下属性.标签.

<configuration> 
   <property>     
      <name>fs.default.name</name>     
      <value>hdfs://localhost:9000</value>   
   </property> 
</configuration>

hdfs-site.xml

hdfs-site.xml 文件包含本地文件系统的复制数据值， namenode 路径和 datanode 路径等信息.它表示您希望存储Hadoop基础结构的位置.

让我们假设以下数据.

dfs.replication (data replication value) = 1  

(In the below given path /hadoop/ is the user name. 
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.) 
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode  

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.) 
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件并在< configuration>，</configuration&gt中添加以下属性;标签.

<configuration> 
   <property>     
      <name>dfs.replication</name>     
      <value>1</value>   
   </property>  
   
   <property>     
      <name>dfs.name.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>   
   </property>  
   
   <property>     
      <name>dfs.data.dir</name>     
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>   
   </property> 
</configuration>

注意 : 在上面的文件中，所有属性值都是用户定义的，您可以根据您的Hadoop基础结构进行更改.

yarn-site.xml

此文件用于将纱线配置为Hadoop.打开yarn-site.xml文件，并在< configuration>，</configuration>之间添加以下属性.此文件中的标签.

<configuration> 
   <property>     
      <name>yarn.nodemanager.aux-services</name>     
      <value>mapreduce_shuffle</value>   
   </property> 
</configuration>

mapred-site.xml

此文件用于指定哪个MapReduce框架我们正在使用.默认情况下，Hadoop包含yarn-site.xml的模板.首先，需要使用以下命令将文件从 mapred-site，xml.template 复制到 mapred-site.xml 文件.

$ cp mapred-site.xml.template mapred-site.xml

打开 mapred-site.xml 文件，并在< configuration>，</configuration>中添加以下属性.标签.

<configuration> 
   <property>     
      <name>mapreduce.framework.name</name>     
      <value>yarn</value>   
   </property> 
</configuration>

验证Hadoop安装

以下步骤用于验证Hadoop安装.

步骤1:命名节点设置

使用命令"hdfs namenode -format"设置namenode，如下所示.

$ cd ~ 
$ hdfs namenode -format

预期结果如下.

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG:   host = localhost/192.168.1.11 
STARTUP_MSG:   args = [-format] STARTUP_MSG:   version = 2.6.4 
... 
... 
10/24/14 21:30:56 INFO common.Storage: Storage directory 
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1 
images with txid >= 0 
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0 
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 
************************************************************/

第2步:验证Hadoop dfs

以下命令用于启动Hadoop dfs.执行此命令将启动您的Hadoop文件系统.

 
 $ start-dfs.sh

预期输出如下 :

 
 10/24/14 21:37:56 
起始名称节点在[localhost] 
 localhost:起始namenode，登录到/home/hadoop/hadoop-2.6.4/logs/hadoop- 
 hadoop-namenode-localhost.out 
 localhost:启动datanode，登录到/home/hadoop/hadoop-2.6.4/logs/hadoop- 
 hadoop-datanode-localhost.out 
开始辅助名称节点[0.0.0.0]

步骤3:验证纱线脚本

以下命令用于启动纱线脚本.执行此命令将启动你的Yarn恶魔.

$ start-dfs.sh

预期输出如下 :

10/24/14 21:37:56 
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-namenode-localhost.out 
localhost: starting datanode, logging to /home/hadoop/hadoop-2.6.4/logs/hadoop-
hadoop-datanode-localhost.out 
Starting secondary namenodes [0.0.0.0]

步骤4:在浏览器上访问Hadoop

访问Hadoop的默认端口号是50070.使用以下URL在浏览器上获取Hadoop服务.

http://localhost:50070/

Accessing Hadoop

在Hadoop上安装Solr

按照下面给出的步骤下载并安装Solr.

第1步

点击打开Apache Solr的主页以下链接 : https://lucene.apache.org/solr/

Solr主页

第2步

点击下载按钮(在上面的屏幕截图中突出显示).单击后，您将被重定向到您拥有Apache Solr的各种镜像的页面.选择一个镜像并单击它，这将重定向到一个页面，您可以在其中下载Apache Solr的源文件和二进制文件，如下面的屏幕截图所示.

Apache Mirror

步骤3

点击后，名为 Solr-6.2的文件夹.0.tqz 将下载到您系统的downloads文件夹中.提取下载文件夹的内容.

步骤4

在Hadoop主目录中创建名为Solr的文件夹并移动解压缩文件夹的内容它，如下所示.

$ mkdir Solr 
$ cd Downloads 
$ mv Solr-6.2.0 /home/Hadoop/

验证

浏览Solr Home目录的 bin 文件夹并使用版本选项验证安装，如以下代码块所示.

$ cd bin/ 
$ ./Solr version 
6.2.0

设置主页和路径

打开 .bashrc 文件使用以下命令 :

[Hadoop@localhost ~]$ source ~/.bashrc

现在设置Apache Solr的主目录和路径目录，如下所示;

export SOLR_HOME = /home/Hadoop/Solr  
export PATH = $PATH:/$SOLR_HOME/bin/

打开终端并执行以下命令 :

[Hadoop@localhost Solr]$ source ~/.bashrc

现在，你可以从任何目录执行Solr的命令.