google-cloud-composer相关内容
我正在Google Cloud Composer上的气流DAG中扩展使用BigQueryOperator。 对于较长的查询，最好将每个查询放在它自己的.sql文件中，而不是把它弄乱了DAG。Airflow似乎支持所有SQL查询操作符，包括BigQueryOperator，如the documentation中所示。 我的问题：在.sql模板文件中编写了一条我的SQL语句后，如何将其添加到G
..
我已经为此创建了一个空存储桶，我不希望Composer为DAG创建自己的存储桶-我想使用已经创建的存储桶。 让它只创建一个随机存储桶然后去 是不理想的 gcloud composer environments run test-environment --location europe-west1 variables -- --set gcs_bucket gs://my-bucket
..
有没有在现有GKE群集中创建Composer环境而不衍生新群集的方法？ GKE 无法使用现有推荐答案集群创建Cloud Composer环境。这是因为群集是作为环境设置过程的一部分创建的，该过程将该特定群集与环境相关联(并标记资源等)。 此关联是永久性的：如果意外删除了Composer环境的GKE集群，则需要recreate the entire environment。因此，与其将
..
环境：我们使用GCP Cloud Composer来运行气流DAG。 目的：使用阿帕奇气流稳定接口，通过睡觉对外触发DAG。 我们尝试通过在Cloud Composer：airflow.api.auth.backend.default中设置气流覆盖配置，并发出IAP请求，尝试使用气流实验API对外触发DAG。它工作得很好。我们按照https://cloud.google.com/compos
..
我有一些关于BaseSensorOperator参数工作方式的念力：timeout&；poke_interval。 请考虑传感器的以下用法： BaseSensorOperator( soft_fail=True, poke_interval = 4*60*60, # Poke every 4 hours timeout = 12*60*60, # Timeout aft
..
我必须向BigQuery表添加标签。我知道可以通过BigQuery UI完成此操作，但如何通过气流操作符完成此操作。 使用案例：用于计费和搜索。由于多个团队在同一项目和数据集下工作，因此我们需要将各自团队创建的所有表组合在一起。由于每个团队对表有不同的标签，因此标签对我们是必需的。 bq_query = BigQueryOperator(bql=sql,
..
我正在尝试在 GCC 上运行 BigQueryOperator.我已经成功运行了 BigQueryCreateEmptyTableOperator 和 BigQueryTableDeleteOperator. 这是我的 dag 代码: 导入日期时间导入操作系统导入日志从气流导入配置从气流进口模型从气流导入 DAG从airflow.operators 导入email_operator从air
..
对于我想从 Cloud Composer 管道内部调用/调用云函数的要求，但我找不到关于它的太多信息，我尝试使用 SimpleHTTP 气流运算符，但出现此错误: [2021-09-10 10:35:46,649] {taskinstance.py:1503} 错误 - 任务因异常而失败回溯(最近一次调用最后一次):文件“/opt/python3.8/lib/python3.8/site-pac
..
我的 Cloud Composer 管理的 Airflow 卡住了几个小时，因为我取消了一个耗时太长的任务实例(我们称之为任务 A) 我已经清除了所有的 DAG 运行和任务实例，但是有几个作业正在运行，一个作业处于关闭状态(我想是任务 A 的作业)(我的工作快照). 此外，调度程序似乎没有运行，因为最近删除的 DAG 不断出现在仪表板中 有没有办法终止作业或重置调度程序?欢迎任何
..
我有一些与文件相关的用例，我不确定如何使用 Cloud Composer 最好地完成这些用例.我应该如何最好地完成这些? 1)我需要使用私钥 (.pem) 文件来访问 SFTP 服务器.这个文件应该存储在哪里以及应该如何访问?在本地 Airflow 中，我会将文件放在与/dags/相同目录中的文件夹/keys/中. 2) 我需要将文件从 SFTP 服务器移动到 Cloud Storag
..
我知道如何为 Compute Engine 分配静态外部 IP 地址，但这可以通过 Google Cloud Composer (Airflow) 完成吗?我想大多数公司都需要该功能，因为他们通常会写回可能位于防火墙后面的仓库，但我找不到任何有关如何执行此操作的文档. 解决方案 现在是可能的.您需要在私有 VPC 中配置 Cloud Composer 并使用 Cloud NAT 公开集群.
..
至于文档，Google Cloud Composer 气流工作节点由专用的 kubernetes 集群提供服务: 我有一个包含 Docker 的 ETL 步骤，我想使用气流运行它，最好在托管 Workers 的同一个 Kubernetes 或专用集群上运行. 从 Cloud Composer 气流环境启动 Docker Operation 的最佳实践是什么? 务实的解决方案是❤️
..
我们有哪些方法可以从新推出的 Google Cloud Composer 连接到 Google Cloud SQL (MySQL) 实例?目的是将数据从 Cloud SQL 实例获取到 BigQuery(可能通过 Cloud Storage 中间步骤). Cloud SQL 代理能否以某种方式在托管 Composer 的 Kubernetes 集群的 Pod 上公开? 如果不能，是否可
..
在我的一些 Apache Airflow 安装中，即使调度程序似乎没有完全加载，计划运行的 DAG 或任务也不会运行.如何增加可并发运行的 DAG 或任务的数量? 同样，如果我的安装在高负载下并且我想限制我的 Airflow 工作人员拉入队列任务的速度(例如减少资源消耗)，我可以调整什么来降低平均负载? 解决方案 这是自 Airflow v1.10.2 以来可用的配置选项的扩展列表.
..
我想澄清一下 Cloud Dataflow 或 Cloud Composer 是否适合这项工作，但我从 Google 文档中不清楚. 目前，我正在使用 Cloud Dataflow 读取非标准 csv 文件——进行一些基本处理——并将其加载到 BigQuery 中. 让我举一个非常基本的例子: # file.csv输入\x01日期房子\x0112/27/1982汽车\x0111/9/
..
我想将 cloud composer 创建的气流网络服务器的时区从 utc 更改为 jst(Asia/Tokyo). 然而，即使“webserver-default_ui_timezone ='JST'"由airflow config overwrite设置，webserver的时间不能改变. 即使我将气流中使用的 VM(GKE 节点)的时区从 utc 更改为 jst(Asia/Tok
..
我需要在 sql 文件中访问 BigqueryOperator 传递的参数，但出现错误 ERROR - queryParameters 参数必须具有类型 不是 我正在使用以下代码: t2 = bigquery_operator.BigQueryOperator(task_id='bq_from_source_to_clean',sql='prepare.sql',use_legacy_sql=假
..
我正在尝试运行一个非常简单的测试 DAG 来掌握 GCP Cloud Composer 的基本功能，但是每次我触发 DAG 时，都会弹出一个令人讨厌的错误，我似乎找不到任何有关怎么解决. 错误是: 2020-03-18 22:20:56,627] {taskinstance.py:1059} 错误 - __init__() 得到一个意外的关键字参数 'min'@-@{"workflow":
..
我正在使用气流(谷歌作曲家)，但在下面遇到了一些例外 类型错误:无法pickle _thread.RLock 对象 糟糕.____/( ( ) ) \___/( ( ( ) _ )) ) )\(( ( )( ) ) ( ) )((/( _( ) ( _) ) ( () ) )( ( ( (_) (( ( ) .((_ ) . )_( ( ) ( ( ) ) ).) ( )( ( ( ( )
..
我在 Google 的 Cloud Composer 上运行 Airflow.我正在使用 KubernetesPodOperator 并希望通过 gcsfuse 将 google 存储桶挂载到 pod 中的目录.似乎要做到这一点，我需要按照 此处 的规定提供 k8s 特权安全上下文.似乎气流最近向 KubernetesPodOperator 添加了 security_context 参数.我在操作
..
