Powershell 为 Azure 数据工厂管道下载 ARM 模板
我需要在 powershell 中使用 ARM 模板创建 ADF 管道，并且它必须从现有的 ADF 管道中获取输入/验证一些东西，因此我必须通过 powershell 下载现有 ADF 管道的 ARM 模板.我们可以为单个 ADF 管道或多个管道执行此操作吗?注意:现有管道不是通过 ARM 部署创建的，所以我不能使用“Save-AzureRmDeploymentTemplate"，因为我没有在通过
..
azure-data-factory相关内容
如何导入现有的数据工厂 ARM 模板?
我去了一个现有的数据工厂，并选择了export template: 然后我手动创建了一个新的数据工厂，现在我尝试将现有的数据工厂导入到这个新的数据工厂，方法是转到新的数据工厂，然后选择 import template: 然而，这会将我们带到一个通用页面: 我们如何使用导出数据工厂时生成的模板发布或导入数据工厂? 解决方案 当您在 ADF 中点击“导出 ARM 模板"时，解
..
ARM 模板部署不会删除旧管道
我正在使用 ARM 模板部署我的数据工厂.删除管道时，不会从目标环境中删除旧版本.重命名也会发生同样的情况，然后我的目标环境包含一个带有旧名称的管道和一个带有新名称的管道. 如何使用 ARM 模板部署删除旧管道? 注意:我只想删除数据工厂内部的孤立管道，而不是清除整个数据工厂. 解决方案 要删除数据工厂内部的管道，需要运行微软发布的脚本此处. 请注意，这需要使用新的 Az
..
创建后如何在 Azure 数据工厂中启用诊断
在通过 c# 自动化应用程序创建之后，我正在尝试使用 ARM 模板为 azure 数据工厂启用诊断.我正在尝试将此处的步骤用于非计算资源模板: https://docs.microsoft.com/en-us/azure/monitoring-and-diagnostics/monitoring-enable-diagnostic-logs-using-template 上述说明的第
..
发布后如何获取Azure数据工厂参数到ARM模板参数文件(ARMTemplateParametersForFactory.json)中
我正在尝试为 Azure 数据工厂创建 Azure DevOps 发布管道. 我遵循了微软相当神秘的指南(https://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment )关于向执行发布时生成的 ARM 模板添加其他参数(https://docs.microsoft.com/en-us
..
如何使用 Azure 数据工厂管道调用 REST API?
我想使用 ADF 管道通过 oauth 身份验证执行 REST API.如果没有 oauth2，我可以调用任何 REST API.所以我的问题是，这个 ADF 管道是否支持带有 oauth2 身份验证的 REST API?如果是.请提供解决方案 正在尝试的 API，你可以从这个 URL 找到https://docs.microsoft.com/en-us/休息/api/datafactory
..
如何在发布请求(Web 活动)Azure 数据工厂中将文件作为参数传递?
我需要通过 Azure 数据工厂向 API 发送请求.但输入参数是文件.我该怎么做? 解决方案 数据工厂 Web Active 可以帮助您实现这一目标.这取决于文件位置. 例如，如果您的参数文件存储在 Blob 存储中. 我们可以将 filename 设置为数据集参数: 然后设置管道参数filename: 网络活动设置: 设置数据集文件名 = @pipelin
..
如何在发布请求(Web 活动)Azure 数据工厂中将文件作为参数传递?
我需要通过 Azure 数据工厂向 API 发送请求.但输入参数是文件.我该怎么做? 解决方案 数据工厂 Web Active 可以帮助您实现这一目标.这取决于文件位置. 例如，如果您的参数文件存储在 Blob 存储中. 我们可以将 filename 设置为数据集参数: 然后设置管道参数filename: 网络活动设置: 设置数据集文件名 = @pipelin
..
使用 Azure 数据工厂从 REST API 获取数据
是否可以使用 Azure 数据工厂从 REST API 获取数据并将其插入到 Azure 数据库表中? 解决方案 数据工厂提供了一个通用的HTTP 连接器 和特定的 REST 连接器，允许您检索数据使用 GET 或 POST 方法从 HTTP 端点发送. 示例:HTTP 链接服务 {"name": "HttpLinkedService",“特性":{"type": "Http",“
..
使用 Google DataFlow/Apache Beam 并行化图像处理或抓取任务是否有意义?
我正在考虑将 Google DataFlow 作为运行管道的选项，该管道涉及以下步骤: 从网络下载图像； 处理图像. 我喜欢 DataFlow 管理完成工作所需的 VM 的生命周期，因此我不需要自己启动或停止它们，但我遇到的所有示例都将它用于数据挖掘类任务.我想知道它是否是其他批处理任务(如图像处理和抓取)的可行选择. 解决方案 此用例是 Dataflow/Beam 的可能应
..
为什么 Azure 数据工厂使用 AppendFile 而不是 PutBlob 将文件写入 Blob 存储容器?
我有一个 Log Analytics 工作区，并为某些 Azure 存储帐户创建了一些(blob)诊断设置.现在我正在分析 blob 流量. 似乎将 blob 放入 blob 存储的各种方法(Azure 数据工厂 (ADF)、Azure 存储资源管理器 (ASE)、Python SDK 等)使用不同的开箱即用 API 方法. 示例: 我看到所有使用 ADF 上传的文件都使用 Ap
..
Azure数据工厂-按日期过滤Mongodb源数据集
这种情况非常简单，如ADFv2文档和示例中所述，我创建了一个复制管道来从MongoDB集合中获取数据，并将其写入Azure SQL数据库. 已成功传输完整的收集数据，并且正确设置了所有映射.当我尝试过滤源数据集以仅从MongoDB获取最近的 n 天时，问题就开始了.我尝试了几个查询，并与MongoDB Compass进行了交叉检查，以查看它们是否实际上在执行Mongo方面.归结为以下过滤查询
..
容错并在Azure Blob存储中记录不兼容的行
客户要求: 使用azure数据工厂将blob存储中的csv文件导入到SQL数据仓库中. 使用ADF中的策略“容错并在Azure Blob存储中记录不兼容的行". 并使用Azure Function将处理后的文件存档到Blob存储中的其他位置:成功导入了这些文件的一个位置，而失败存储了一个位置(这些文件的数据不兼容-格式错误，长度错误) => 所以我需要获取“活动窗口"的sk
..
在Azure数据工厂中将行计数转换为INT
我正在尝试使用Lookup Activity返回行数.我能够做到这一点，但是一旦我做到了，我想对它运行一个If语句，如果计数返回的行数超过20MIL，我想执行一个额外的管道以进一步进行表操作.但是，问题是我无法将返回值与静态整数进行比较.下面是此If语句的当前动态表达式: @greater(int(活动('COUNT_RL_WK_GRBY_LOOKUP'.输出)，20000000) ，
..
Azure数据工厂:设置限制以使用“复制"活动复制文件数
我的管道中有一个复制活动，用于从第2代Azure数据中复制文件.源位置可能有1000个文件，并且文件需要复制，但是我们需要设置所需文件数的限制被复制.ADF中是否有任何选项可以实现相同的限制自定义活动? 例如:我在Data Lake中有2000个文件，但是在运行管道时，我应该能够传递一个参数以仅复制500个文件. 关于，桑迪普 解决方案 我认为您可以将lookup活动与for每
..
如何从Azure Data Factory v2调用Oracle存储过程
我的要求是将数据从Oracle复制到SQL Server.从Oracle数据库复制之前，我需要使用具有一定逻辑性的过程来更新Oracle表. 如何从Azure数据工厂执行Oracle存储过程? 我将此线程引用 如果我在 preCopy 脚本中使用 EXECUTE PROC_NAME(PARAM); ，则失败，并出现以下错误 “源"端发生故障.ErrorCode = UserEr
..
Azure数据工厂复制数据如果存在某个文件
我在Blob容器中有很多文件.但是我只想在blob容器上存在某个文件(例如SRManifest.csv)的情况下运行存储过程.我在数据工厂上使用了获取元数据和IF条件.您能帮我提供动态脚本吗?我尝试了这个 @bool(startswith(activity('Get Metadata1').output.childitems.ItemName，'SRManifest.csv')).它不起作用.
..
在带有暂存Blob存储+ Polybase的Data Factory中运行管道到Azure DataWarehouse时运行管理器身份错误
当尝试使用Polybase +启用暂存Blob存储将数据从Azure SQL提取到Azure DW数据库时，我收到此错误消息. 此服务器上尚未启用托管服务标识.请启用托管服务身份，然后重试. 我试图创建一个托管身份用户，将其分配给Web服务，并授予它将该用户链接到在数据库中具有所有者权限的AAD组的权限，但是它不起作用.
..
通过REST API将数据追加到Azure Data Lake存储中的现有文件
我已经设置了从REST API提取数据并将其放入ADLS存储gen1的管道，我还看到了生成的文件 REST API> ADF管道(获取承载令牌+复制活动)> ADLS 但是当从该API传入新数据时，数据将替换该文件中的当前内容，而不是每次都在最后一行附加 我需要提供任何动态操作或其他方法吗?有人可以让我朝正确的方向前进吗. 注意:我可以看到文件中的内容，完全没有错误
..
在ADF ARM模板中参数化自托管集成运行时
我们有不同的ADF环境，例如TST，UAT&产品在每个环境中，自托管的IR名称是不同的.是否可以在ADF ARM模板中参数化集成运行时，以便当ARM模板通过CI/CD部署时，我们可以在部署期间在DevOps Variable组中传递IR名称. 我尝试使用以下设置更改ADF中的参数化模板，但是IR名称在ARM模板参数JSON'arm_template_parameters.json'中仍然不可
..