哪里日志在星火纱线？ [英] Where are logs in Spark on YARN?

问题描述

我是新来的火花。现在，我可以运行在纱线（2.0.0-cdh4.2.1）火花0.9.1。但没有日志执行之后。

I'm new to spark. Now I can run spark 0.9.1 on yarn (2.0.0-cdh4.2.1). But there is no log after execution.

下面的命令被用于运行一个火花例子。但日志不会在历史服务器如在正常马preduce作业发现

The following command is used to run a spark example. But logs are not found in the history server as in a normal MapReduce job.

SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone  --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1

我在哪里可以找到这些日志/ STDERR /标准输出？

where can I find the logs/stderr/stdout?

有没有地方可设置配置？
我发现从控制台说的输出：

Is there someplace to set the configuration? I did find an output from console saying:

14/04/14 18点51分五十二秒信息客户端：命令为ApplicationMaster：$ JAVA_HOME /斌/ java的-server -Xmx640m -Djava.io.tmpdir = $ PWD / tmp目录org.apache.spark.deploy。 yarn.ApplicationMaster --class SimpleApp --jar ./​​spark-example-1.0.0.jar --args纱独立'--worker内存1024 --worker-核心1 --num工3 1>＆LT ; LOG_DIR＆GT; /标准输出2>＆LT; LOG_DIR> /标准错误

14/04/14 18:51:52 INFO Client: Command for the ApplicationMaster: $JAVA_HOME/bin/java -server -Xmx640m -Djava.io.tmpdir=$PWD/tmp org.apache.spark.deploy.yarn.ApplicationMaster --class SimpleApp --jar ./spark-example-1.0.0.jar --args 'yarn-standalone' --worker-memory 1024 --worker-cores 1 --num-workers 3 1> <LOG_DIR>/stdout 2> <LOG_DIR>/stderr

在这一行，通知 1 GT; $ LOG_DIR /标准输出2 - ; $ LOG_DIR /标准错误

在哪里可以LOG_DIR设置？

Where can LOG_DIR be set?

推荐答案

有关这个问题pretty文章：

Pretty article for this question:

纱线运行星火 - 见调试应用。体面的解释了所有必需的例子。

Running Spark on YARN - see section "Debugging your Application". Decent explanation with all required examples.

您需要按照获得正常工作的历史服务器星火的唯一一件事就是关闭您的星火上下文应用程序。否则，应用历史服务器不认为你是一个完整，没有显示任何东西（尽管历史的UI访问，但不那么明显）。

The only thing you need to follow to get correctly working history server for Spark is to close your Spark context in your application. Otherwise application history server does not see you as COMPLETE and does not show anything (despite history UI is accessible but not so visible).

这篇关于哪里日志在星火纱线？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！