hadoop streaming：如何查看应用程序日志？ [英] hadoop streaming: how to see application logs?

问题描述

我可以在我的 / usr / local / hadoop / logs 路径中看到所有hadoop日志，但是在哪里我可以看到应用程序级日志吗？例如：

mapper.py

 导入记录
 
 def main（）：
 logging.info（现在启动地图任务）
 //  - 执行一些任务 -  // 
打印语句
  

reducer.py

  import logging 
 def main（）：
用于sys.stdin中的行：
 logging.info（已接收到reducer的输入 - +行）
 //  - 做一些任务 -  // 
打印语句
  

在哪里可以看到 logging.info 或我的应用程序的相关日志语句


我正在使用 Python 并使用 hadoop-streaming

谢谢

解决方案

Hadoop流媒体使用 STDIN / STDOUT ，以便在映射器和缩减器之间传递键/值对必须将日志消息写入特定的日志文件 - 请查看示例代码和 python日志记录文档了解更多详细信息。此查询也可能有所帮助。

I can see all hadoop logs on my /usr/local/hadoop/logs path

but where can I see application level logs? for example :

mapper.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

reducer.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

Where I can see logging.info or related log statements of my application?
I am using Python and using hadoop-streaming

Thank you

解决方案

Hadoop streaming uses STDIN/STDOUT for passing the key/value pairs between the mappers and reducers, so the log messages have to be written to a specific log file - check the sample code and the python logging documentation for more details. This Query might also help.

这篇关于hadoop streaming：如何查看应用程序日志？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！