及时安排火花作业
推荐使用哪种工具来每天/每周调度Spark作业. 1)Oozie 2)路易吉 3)阿兹卡班 4)计时 5)气流 谢谢. 解决方案 从此处更新我以前的答案: 气流:先尝试一下.体面的用户界面，类似于Python的作业定义，对于非程序员来说半可访问，依赖声明语法很奇怪. Airflow内置了对事实的支持，即计划的作业通常需要重新运行和/或回填.确保您建立了支持此功能的管道. Az
..
mesos-chronos相关内容
chronos不是集中式调度程序吗?
为什么将chronos称为分布式且容错的调度程序?据我了解，只有一个正在运行的调度程序实例可以管理作业调度. 根据Chronos文档，在内部，Chronos调度程序主循环非常简单. 模式如下: Chronos从状态存储(ZooKeeper)中读取所有作业状态 作业在调度程序中注册，并加载到作业图中以跟踪依赖性. 作业被分为一个列表，这些列表应在当前时间(基于主机的时钟
..
Mesos任务-无法接受套接字:将来被丢弃
我只是试图将mesos版本从1.0.3升级到1.3.1. Chronos调度程序能够通过Mesos调度作业.作业运行正常，并且能够查看mesos stdout日志.但是，仍然在mesos stderr日志中看到以下内容. docker作业运行正常，但以下日志仍显示为失败状态. I0905 22:05:00.824811 456 exec.cpp:162] Version: 1.3.
..
Apache Chronos体系结构说明
我试图查看是什么使Chronos优于Crons?我无法完全理解其作业调度和执行体系结构. 具体来说，这些是关于chronos体系结构的问题，我不清楚. 在一份Chronos文档中，我读到，由于crons具有SPoF，所以crons不好，而cronos更好. chronos如何避免SPoF? Chronos中的工作计划保存在哪里?它为此维护某种数据库吗? 计划的作业是如何触发的，谁向
..