MapReduce - Hadoop管理

本章介绍Hadoop管理,包括HDFS和MapReduce管理.

  • HDFS管理包括监控HDFS文件结构,位置和更新的文件.

  • MapReduce管理包括监控应用程序列表,节点配置,应用程序状态等.

HDFS监控

HDFS(Hadoop分布式文件系统)包含用户目录,输入文件和输出文件.使用MapReduce命令, put get,进行存储和检索.

通过传递Hadoop框架(守护进程)启动后在"/$ HADOOP_HOME/sbin"上命令"start-all.sh",将以下URL传递给浏览器"http://localhost:50070".您应该在浏览器上看到以下屏幕.

以下屏幕截图显示了如何浏览浏览HDFS.

HDFS监控

以下屏幕截图显示了HDFS的文件结构.它显示"/user/hadoop"目录中的文件.

HDFS Files

以下屏幕截图显示了群集中的Datanode信息.在这里你可以找到一个节点及其配置和容量.

Datanoda Information

MapReduce作业监控

MapReduce应用程序是一组作业(地图作业,合并器,分区程序和减少作业).必须监控和维护以下内容;

  • 配置应用程序适合的datanode.

  • 每个应用程序使用的数据节点和资源数量.

要监控所有这些事情,我们必须拥有一个用户界面.通过在"/$ HADOOP_HOME/sbin"上传递命令"start-all.sh"启动Hadoop框架后,将以下URL传递给浏览器"http://localhost:8080".您应该在浏览器上看到以下屏幕.

工作监控

在上面的屏幕截图中,手形指针位于应用程序ID上.只需单击它即可在浏览器中找到以下屏幕.它描述了以下 :

  • 当前应用程序正在运行的用户

  • 应用程序名称

  • 该应用程序的类型

  • 当前状态,最终状态

  • 应用程序启动时间,已过去(已完成时间),如果在监控时已完成

  • 此应用程序的历史记录,即日志信息

  • 最后,节点信息,即节点参与运行该应用程序.

以下屏幕截图显示了特定应用程序的详细信息 :

应用程序ID

以下屏幕截图描述了当前运行的节点信息.这里,屏幕截图只包含一个节点.手形指针显示正在运行的节点的本地主机地址.

所有节点