airflow相关内容

为什么我的 Airflow 任务“从外部设置为失败"?

我使用的是 Airflow 2.0.0，我的任务偶尔会被“外部"终止；运行几秒钟或几分钟后.这些任务通常会成功运行(对于通过 airflow tasks test ... 启动的手动任务和计划的 DAG 运行)，所以我相信这与我的 DAG 代码无关. 当任务失败时，这似乎是任务日志中的关键错误: {local_task_job.py:170} 警告 - 此实例的状态已从外部设置为失败.终止 ..
发布时间：2021-10-26 18:01:31 其他开发

如何在 Airflow 中使用 HashiCorp Vault?

我开始使用 Apache Airflow，我想知道如何有效地使用存储在 Vault 中的机密和密码.不幸的是，除了 Airflow 中尚未实现的钩子之外，搜索不会返回有意义的答案 项目本身. 我总是可以使用 Python 的 hvac 模块从 PythonOperator 访问 Vault，但我想知道是否有任何更好的 方法或 良好实践(例如，我错过了一个 Airflow 插件). 解决 ..
发布时间：2021-10-26 18:01:25 Python

如何在 Airflow 中安装软件包?

我在 Airflow(在 GCP 上)部署了一个 dag，但收到错误“没有名为‘scipy’的模块".如何在 Airflow 中安装软件包? 我尝试添加一个单独的 DAG 来运行 def pip_install(package):subprocess.call([sys.executable, "-m", "pip", "install", package])def update_pack ..
发布时间：2021-10-26 18:01:22 其他开发

为什么在 Mac 上安装 Apache Airflow 时没有出现此类表错误?

很难给出正确的标题.好的，就到这里了.我正在按照本教程在我的 Mac(Mojave 版本)上安装 Apache Airflow - https://towardsdatascience.com/getting-started-with-apache-气流-df1aa77d7b1b 就在执行 pip 安装气流任务后的第一步，当我运行气流版本命令时，我收到以下错误，然后出现气流版本 - ..
发布时间：2021-10-26 18:01:16 Python

Airflow:让用户使用 ldap 登录

有谁知道我将如何从气流中获取当前用户?我们将后端启用到 airflow/contrib/auth/backends/ldap_auth.py，因此用户通过该身份验证登录，我想知道如何让当前用户点击某些内容(自定义将我们作为插件查看). 解决方案 您可以通过调用{{ current_user.user.username }} 或 {{ current_user.user }} 来获取 在您的 ..
发布时间：2021-10-26 18:01:13 Python

气流错误 - 出现意外的关键字参数“min"

我正在尝试运行一个非常简单的测试 DAG 来掌握 GCP Cloud Composer 的基本功能，但是每次我触发 DAG 时，都会弹出一个令人讨厌的错误，我似乎找不到任何有关怎么解决. 错误是: 2020-03-18 22:20:56,627] {taskinstance.py:1059} 错误 - __init__() 得到一个意外的关键字参数 'min'@-@{"workflow": ..
发布时间：2021-10-26 18:01:11 Python

气流调度程序不尊重 EndTime 与 datetime.now()+timedelta()

我正在尝试安排一个 dag 每 x 秒运行一次.我把开始时间作为过去的日期，catchup = False，结束时间为未来几秒钟. 尽管 dag 按预期开始，但它并没有结束并且永远持续下去. 如果我使用像 datetime(2019,9,26) 这样的绝对结束时间，但不使用 datetime.now()+timedelta(seconds=100)，则 dag 结束> start_d ..
发布时间：2021-10-26 18:01:08 其他开发

分支任务的气流问题

我正在尝试设置一个 DAG，其中每分钟运行一个任务，然后在第 5 分钟(就在 1 分钟任务之前)运行另一个任务.这真的只是测试，我不打算在这么短的时间间隔内运行作业. 从视觉上看，我的 DAG 如下所示: 代码本身是这样的: from 气流导入 DAG从airflow.operators.bash_operator 导入BashOperator从airflow.operators.p ..
发布时间：2021-10-26 18:01:02 Python

我不能通过 BashOperator xcom_push 参数

我是 Airflow 的 xcom 功能的新手.我用 PythonOperator 进行了尝试，它工作正常(即，我可以将值从上下文中推入和拉出)，但是当我在 BashOperator 上尝试时，它不起作用.但是，我只能通过在任务创建期间添加 xcom_push=True 属性来提取最终的 stdout 语句.这是一回事.2)但我也希望像我们在 PythonOp 中那样根据它们的键(到 BashOp ..
发布时间：2021-10-26 18:00:59 其他开发

在 puckel/docker-airflow 中启用凭据

我正在使用 puckel/docker-airflow 来部署气流.目前，网络服务器不要求任何登录凭据.如何向其中添加用户?也许我必须在 docker-compose.yml 中添加一些环境变量，但我找不到它.docker-compose 文件位于这里 提前致谢. 解决方案 创建自己的airflow.cfg(假设它存储在./config/airflow.cfg)并按照Airflow ..
发布时间：2021-10-26 18:00:54 其他开发

气流调试:如何在 vscode 中运行 DAG 时跳过回填作业执行

我已经设置了气流并且正在使用以下 vscode 调试配置运行 DAG: {“版本":“0.2.0"，“配置":[{“名称":“Python:当前文件"，“类型":“蟒蛇"，“请求":“启动"，“程序":“${file}"，“控制台":“集成终端"，“justMyCode":假，“环境":{“AIRFLOW__CORE__EXECUTOR":“DebugExecutor"，“AIRFLOW__DE ..
发布时间：2021-10-26 18:00:38 其他开发

气流任务流 - 并行运行任务

想要尝试新的任务流 API，我到了需要 2 个并行任务的地步. 使用 Airflow v1，我曾经做过类似的事情 task_1 >>[任务_2，任务_3][任务_2，任务_3] >>任务_4 对于PythonOperator ，我们现在调用任务的方式不同了 我如何使用 TaskFlow 做列表? 谢谢 解决方案 如果每个任务都依赖于上一个任务的值，您可以通过以下方式实现 ..
发布时间：2021-10-26 18:00:35 其他开发