如何将数据融合连接到云SQL代理
我正在尝试将Data Fusion与云SQL MySQL内网IP互通。我读了很多参考资料，似乎这是可能的(至少我仍然不相信这是不可能的)。我到目前为止所拥有的： 具有内网IP的Data Fusion私有实例。 内网IP的云SQL for MySQL实例 部署在虚拟机上的云SQL代理。 所有东西都连接到同一个默认VPC网络。 防火墙完全开放(入口、出口网段：0.0.0.0/0及所有协议
..
google-cloud-data-fusion相关内容
如何从Google Cloud Data Fusion内部输出写入单个CSV文件
我正在通过Google Cloud Data Fusion运行一个ETL管道。管道操作的快速摘要： 接收CSV文件，该文件是名称列表 从BigQuery-public-data获取表 将两者连接在一起，然后将结果输出到表 还将结果输出到Group by，其中IS合并重复项并对其分数求和。 将生成的作者姓名和分数列表输出到Google云存储存储桶中的表和CSV文件。 所有这些都应
..
Google Cloud Data Fusion——从 REST API 端点源构建管道
尝试构建管道以从 3rd 方 REST API 端点数据源读取数据. 我正在使用 Hub 中的 HTTP(1.2.0 版)插件. 响应请求地址为:https://api.example.io/v2/somedata?return_count=false 响应正文示例: {“分页":{“令牌":“12456789"，"next": "https://api.example.io/
..
导入/导出 DataFusion 管道
有谁知道是否可以以编程方式导入/导出 DataFlow 管道(已部署或处于草稿状态)? 这个想法是编写一个脚本来删除和创建一个 DataFusion 实例，以避免在不使用时计费.通过 gloud 命令行，可以提供 DataFusion 集群并销毁它，但自动导出和导入我的所有管道也会很有趣. 不幸的是，官方文档并没有帮助我... 谢谢！ 解决方案 您可以使用 REST AP
..
谷歌云数据融合中的Saleforce插件错误
我正在测试来自 Google Cloud Data Fusion 的 Salesforce 连接.我收到此错误 “错误:找不到请求 POST/v3/namespaces/system/apps/pipeline/services/studio/methods/v1/contexts/default/validations/stage HTTP/1.1" 单击连接器中的获取架构按钮时.验
..
Dataproc操作失败:INVALID_ARGUMENT:用户无权充当服务帐户
我正在尝试从Cloud Data Fusion运行管道，但是我收到以下错误: io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocRuntimeException:Dataproc操作失败:INVALID_ARGUMENT:用户无权充当服务帐户"XXXXXXXX-compute@developer.gserviceaccount.com"
..
Google Cloud Data Fusion-从REST API端点源构建管道
尝试构建管道以从第三方REST API端点数据源读取数据. 我正在使用集线器中的HTTP(版本1.2.0)插件. 响应请求URL为: https://api.example.io/v2/somedata?return_count=false 响应正文样本: {“分页":{“令牌":"12456789"，"next":"https://api.example.io/v2/som
..
是否可以在Basic版本或Enterprise版本中将我自己的自定义转换插件添加到Cloud数据融合中.请指教
据我了解，Google云数据融合中心中有许多可用的转换插件.但是，如果我想创建自己的特定自定义插件，是否可以将该插件添加到Google数据融合中并在我的管道中使用?请赐教. 解决方案 为了向 DataFusion 添加自定义插件(考虑到您已经实现了)，您必须按照以下步骤进行操作: 1)单击 + 按钮 JSON 拖到框中.您还可以单击框，然后选择您的JAR/JSON.之后，只需单
..
GCP数据融合StatusRuntimeException:INVALID_ARGUMENT:'DISKS_TOTAL_GB'配额不足.要求3000.0，可用2048.0
我正在尝试在GCP数据融合中部署管道.我最初使用的是免费帐户，但为了按照以下问题中的建议增加配额进行了升级，但是，根据公认的答案，我仍然不清楚在GCE中增加哪些特定配额以使管道能够运行.有人可以在上述链接的问题中提供更多的清晰度，还是在这里做出回应以详细说明需要增加IAM配额以解决此处看到的问题: com.google.api.gax.rpc.InvalidArgumentException
..
导入/导出DataFusion管道
有人知道是否可以通过编程方式导入/导出DataFlow管道（已部署或处于草稿状态）？ 该想法是编写一个脚本来删除和创建一个DataFusion实例，以免在不使用时进行计费。 可以通过gloud命令行配置DataFusion集群并销毁它，但是自动导出和导入我所有的管道也很有趣。 The不幸的是，官方文档并没有帮助我... 谢谢！ 解决方案 您可以使用REST API来执行
..
Google数据融合执行错误"INVALID_ARGUMENT:'DISKS_TOTAL_GB'配额不足.请求3000.0，可用2048.0.
我正在尝试使用Google Data Fusion Free版本将简单CSV文件从GCS加载到BQ.管道因错误而失败.它显示为 com.google.api.gax.rpc.InvalidArgumentException: io.grpc.StatusRuntimeException: INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quot
..
如何在牧马人中使用自定义变换?
我正在尝试使用Wrangler Plugin上的一列使用自定义转换. 是否有任何文档可以找到要应用自定义转换的函数列表?同样对于特定情况，我想根据IF-ELSE条件(或多个情况)替换列的值.有什么办法吗? 解决方案 自定义转换支持JEXL，因此您可以在此处找到要应用的功能列表:
..