MapReduce：stdout和std err的日志文件位置 [英] MapReduce: Log file locations for stdout and std err

问题描述

如果我在Mapper和Reducer中通过stdout（Java中的System.out）和stderr（Java中的System.err）输出一些消息，我可以在哪里在任务跟踪器节点中看到它们？我猜目录位置也可以通过一些参数配置？

If I output some message thru stdout (System.out in Java) and stderr (System.err in Java) in Mapper and Reducer, where can I see them in task tracker node? I guess the directory location is configurable thru some parameter as well?

推荐答案

这可能取决于您使用的是哪种发行版，但使用我们的cdh3设置，我们可以在/ usr / lib / hadoop-0.20 / logs / userlogs //在任务运行的节点上。例如，stderr可能位于：

This might depend on which distribution you are using but with our cdh3 setup, we can find them under /usr/lib/hadoop-0.20/logs/userlogs// on the node where the task ran. For example, stderr would be under:

/usr/lib/hadoop-0.20/logs/userlogs/job_201207010432_5284/attempt_201207010432_5284_m_000214_0/stderr

如果您有权访问群集的作业跟踪器UI，则还可以通过它访问它们（这是我通常做的）。

If you have access to the job tracker UI for your cluster, you can also access them through there (which is what I typically do).

这篇关于MapReduce：stdout和std err的日志文件位置的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！