星火历史记录服务器和事件日志 [英] Spark history server and event logs

查看:220
本文介绍了星火历史记录服务器和事件日志的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

在星火,是事件日志和历史记录服务器日志目录之间的区别?

  spark.eventLog.dir HDFS:///无功/日志/火花/应用
spark.history.fs.logDirectory HDFS:///无功/日志/火花/应用


解决方案

您可以找到官方文档的所有细节:的 spark.eventLog.dir spark.history.fs。 logDirectory

一是生成日志和第二种情况是历史,发现服务器日志事件的地方。

In Spark, what is the difference between the event log directory and the history server log directory?

spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps

解决方案

You can find all details on official docs: spark.eventLog.dir, spark.history.fs.logDirectory

One is to generate logs and second is the place where history-server find log events.

这篇关于星火历史记录服务器和事件日志的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆