本章介绍Hadoop管理,包括HDFS和MapReduce管理.
HDFS管理包括监控HDFS文件结构,位置和更新的文件.
MapReduce管理包括监控应用程序列表,节点配置,应用程序状态等.
HDFS(Hadoop分布式文件系统)包含用户目录,输入文件和输出文件.使用MapReduce命令, put 和 get,进行存储和检索.
通过传递Hadoop框架(守护进程)启动后在"/$ HADOOP_HOME/sbin"上命令"start-all.sh",将以下URL传递给浏览器"http://localhost:50070".您应该在浏览器上看到以下屏幕.
以下屏幕截图显示了如何浏览浏览HDFS.
以下屏幕截图显示了HDFS的文件结构.它显示"/user/hadoop"目录中的文件.
以下屏幕截图显示了群集中的Datanode信息.在这里你可以找到一个节点及其配置和容量.
MapReduce应用程序是一组作业(地图作业,合并器,分区程序和减少作业).必须监控和维护以下内容;
配置应用程序适合的datanode.
每个应用程序使用的数据节点和资源数量.
要监控所有这些事情,我们必须拥有一个用户界面.通过在"/$ HADOOP_HOME/sbin"上传递命令"start-all.sh"启动Hadoop框架后,将以下URL传递给浏览器"http://localhost:8080".您应该在浏览器上看到以下屏幕.
在上面的屏幕截图中,手形指针位于应用程序ID上.只需单击它即可在浏览器中找到以下屏幕.它描述了以下 :
当前应用程序正在运行的用户
应用程序名称
该应用程序的类型
当前状态,最终状态
应用程序启动时间,已过去(已完成时间),如果在监控时已完成
此应用程序的历史记录,即日志信息
最后,节点信息,即节点参与运行该应用程序.
以下屏幕截图显示了特定应用程序的详细信息 :
以下屏幕截图描述了当前运行的节点信息.这里,屏幕截图只包含一个节点.手形指针显示正在运行的节点的本地主机地址.