安排持续气流 DAG 运行 [英] Schedule a continually airflow DAG run

查看:34
本文介绍了安排持续气流 DAG 运行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

有没有办法循环运行气流 DAG?尝试创建循环(将最后一个组件连接到最后一个组件的上游)时,我收到在 DAG 中检测到循环.错误任务:..."通常,我有 3 个 BashOperator 组件的短流程,我想连续运行这些组件(没有从最后一个组件到第一个组件的任何输入输出传递).谢谢!

Is there a way to run airflow DAG in a loop? When trying to create a cycle (connecting the last component to the upstream of the last one) I got "Cycle detected in DAG. Faulty task: ..." Generally, I have a short flow of 3 BashOperator components which i want to run continually (without any input-output pass from the last component to the first). Thanks!

推荐答案

您应该能够在最后一个任务完成后使用 TriggerDagRunOperator 重新运行 DAG.只需将其放在最后一个运算符之后并使其触发相同的 DAG.

You should be able to use the TriggerDagRunOperator to rerun the DAG after the last task is finished. Just put it after the last operator and make it trigger the same DAG.

这篇关于安排持续气流 DAG 运行的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆