azkaban相关内容

及时安排火花作业

推荐使用哪种工具来每天/每周调度Spark作业. 1)Oozie 2)路易吉 3)阿兹卡班 4)计时 5)气流 谢谢. 解决方案 从此处更新我以前的答案: 气流:先尝试一下.体面的用户界面,类似于Python的作业定义,对于非程序员来说半可访问,依赖声明语法很奇怪. Airflow内置了对事实的支持,即计划的作业通常需要重新运行和/或回填.确保您建立了支持此功能的管道. Az ..
发布时间:2020-05-20 18:31:12 其他开发

Google Dataflow的工作流程编排

我们正在使用Google Dataflow进行批处理数据处理,并为工作流程编排工具寻找一些类似于Azkaban为Hadoop所做的工具。 关键在于我们正在寻找的是 $ b $ ul 配置工作流 计划工作流 能够重新运行失败的作业 我们评估过Pentaho,但这些功能在其昂贵的企业版中提供。 我们目前正在评估Azkaban,因为它支持javaprocess作业类型。但是,A ..