spark-submit - spark程序实际环境是如何运用的

问题描述

问 题

现在已经掌握了spark的编程
但是程序写出来提交运行只是单次的

spark streaming还能一直监听运行，spark sql执行一次就结束了

真实项目中是如何运行spark程序的？
写个脚本，定时向集群submit进行计算？还是其他什么自动化方法？

不可能编写的程序只执行一次就不用了吧
同一套程序如何进行反复的计算？

比如要分析日志，每天都有新的日志产生存放在HDFS上，怎样让spark程序每天重复提交并分析日志信息且不重复分析？

比较困惑！

解决方案

把日志数据结构化存储（HBase，Hive或者HDFS的文件格式），然后根据时间范围进行条件查询。
Spark批处理作业可以用Quartz框架或者Oozie框架进行调度。

这篇关于spark-submit - spark程序实际环境是如何运用的的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！