Azure数据工厂V2上的错误处理
团队. 我遇到了使用Web Activity处理ADF2中的错误的情况.在管道中，任何活动都会失败，它应该触发Web活动.我将Web活动附加到每个活动的failed状态之后.因此，网络活动的dependsOn属性如下所示: "dependsOn": { "activity1": [ "Failed" ], "activity2": [ "Failed"
..
azure-data-factory-2相关内容
如何从Azure数据工厂运行python egg(存在于azure数据块中)?
因此，我创建了一个小的pyspark应用程序，并将其转换为一个鸡蛋.将其上传到dbfs:/FileStore/jar/xyz.egg.在ADF中，我使用了jar活动.但是在“主类名称"文本框中，我很困惑要提供什么. 我的Pycharm应用程序有三个文件，其中两个基本上是实用程序文件，其中包含我调用的实用程序函数，主文件的内容为: Main.py from CommonUtils imp
..
Azure数据工厂v2:活动执行管道输出
是否可以在活动“执行管道"中引用已执行管道的输出? 即:主管道按顺序执行2个管道.第一个管道会生成一个自己创建的run_id，需要将其作为参数转发给第二个管道. 我已经阅读了文档并检查主管道是否记录了第一个管道的输出，但是看起来这不可能直接实现? 到目前为止，我们仅使用了2个没有主管道的管道，但是我们想更多地重用逻辑.当前，我们有1个管道调用下一个管道并转发run_id.
..
枚举Azure Data Factory v2中的Blob名称
我需要枚举Azure Blobs容器中的所有Blob名称，并将列表转储到另一个Blob存储中的文件中. 我无法掌握的部分是枚举. 谢谢. 解决方案 获取元数据活动是您想要的. https://docs.microsoft. com/en-us/azure/data-factory/control-flow-get-metadata-activity 请使用childItems获
..
将XML文件转换为JSON或CSV吗?
我有带有嵌套元素的复杂XML文件.我建立了使用SSIS和T-SQL处理的过程.我们利用Azure数据工厂，并且我想探索将XML文件转换为JSON或CSV的方法，因为ADF不支持这些文件. 看来，逻辑应用程序是一种选择.有人在采用XML和在管道内进行转换方面还有其他运气吗? 当前工作流程: 从文件夹中提取XML文件，放置到网络驱动器上，将XML批量插入登台行，将XML解析为各种SQL表以
..
发布管道与集成运行时冲突
如果在数据工厂中定义了自托管的集成运行时，此问题与如何通过CI(在VSTS中)传播数据工厂有关. 我设置了3个环境-开发/开发/生产/生产每个都有自己的数据工厂. 开发人员主持主协作分支.我正在使用VSTS从adf_publish分支中检索工件，并将模板部署到UAT(产品将在以后完成).我在此处 a>. 当使用自托管的集成运行时(IR)部署到空白UAT时，部署在UAT中的IR是来
..
如何在Azure Data Factory v2中运行SQL脚本?
Azure数据工厂V2中没有SQL脚本活动.那么，如何在数据库中创建存储的proc模式呢?我有什么选择? 解决方案 我同意SSIS缺少诸如“执行SQL任务"之类的东西.我通常使用"LookUp"活动，因为我不喜欢为简单任务创建过程，而这些过程可能是一个单行命令.查找活动的唯一限制是它需要某种输出结果集.因此，当我需要运行更新语句时，我会做的事情是这样的: 伪查询select 0 id
..
使用布尔变量时ADF V2失败
非常简单的问题.我正在尝试建立一个具有bool类型变量的管道.一旦添加它，管道就会失败，并显示以下信息: { "code":"BadRequest", "message":"Invalid value for property 'type'", "target":"pipeline/pipeline2/runid/66b9c7be-9894-494a-abd9-34fd92bbd972",
..
修改全局参数ADF管道
如何修改在ADF管道中声明的全局参数的值? 比方说，我需要检查ADLS中是否存在文件.我声明了一个布尔型全局参数，但是根据我在U-SQL活动中的逻辑，我需要修改其值.我该怎么办? 谢谢！ 解决方案 U-SQL的脚本参数模型仅提供输入参数，不提供输出参数.如果您想回传一些信息，则当前必须通过文件来完成.例如，您在脚本中写入文件，然后使用Powershell活动查看该文件以设置AD
..
在DataFactory中，使用Dynamics Web API将数据迁移到Dynamics365的好策略是什么?
我需要使用DataFactory将数据迁移到Dynamics365. Dynamics365连接器对我来说还不够，因为其中一项要求是仅更新自上次迁移以来已修改的那些属性，而不是整个寄存器.另一个要求是有时我们必须将目标中的值“空". 我相信我可以通过生成不同的JSON进行注册并使用Web API进行迁移来做到这一点. 我曾考虑过将这些调用放入Azure Functions中，但我相信它
..
Azure数据工厂:事件未启动管道
我已经建立了一个包含复制活动的Azure Data Factory管道.出于测试目的，源和接收器均为Azure Blob存储. 在源Azure Blob存储上创建新文件后，我将不立即执行管道. 我创建了一个类型为BlovEventsTrigger的触发器. Blob路径开头已设置为// 我使用Cloud Storage Explorer上传文件，但它不会触发我的管道.为了弄清楚什
..
如何使用Powershell将参数传递给ADF管道
我创建了一个在管道级别具有两个参数的管道. 我想使用Powershell将值发送到这些参数并触发管道. 知道如何使用Powershell做到这一点. 解决方案 我将留下一个脚本，然后可以根据需要进行修改: Login-AzureRmAccount Select-AzureRmSubscription -Subscription "yourSubId" $dfname = "youD
..
用于复制活动的Azure数据工厂表达式查询
我试图将数据从表存储复制到另一个存储帐户的另一个表存储，为此，我正在Azure数据工厂中使用复制活动. 我想过滤将要复制到接收器表存储的行，因为该Azure数据工厂提供了一个定义查询的选项. 我想对数据类型为String但保留数值的Partition键应用过滤器. 我正在查看此文档: https://docs.microsoft. com/zh-CN/azure/devops/pipelin
..
Azure DataFactory增量BLOB副本
我已经建立了将数据从一个Blob存储复制到另一个Blob的管道.我希望有可能的增量副本，但是还没有找到指定它的方法.原因是我想按计划运行它，并且仅复制自上次运行以来的任何新数据. 解决方案 如果您的Blob名称用时间戳记很好地命名，则可以按照此文档操作复制分区数据.您可以使用 如果您的Blob名称在时间戳上不正确，则可以使用获取元数据活动以检查上次修改时间.请参考这篇文章. > 事
..
数据工厂-将字段附加到JSON接收器
我正在使用复制活动将JSON源数据集复制/转换为JSON接收器数据集.需要在输出中附加一些审核字段-例如使用@utcnow表达式函数的转换日期. 这怎么完成? 解决方案 看来databricks活动很好地处理了此功能. df_new = df.select("table.field1","table.field2","table.field3").withColumn("Tra
..
Azure数据工厂-动态帐户信息-连接的参数化
文档演示了如何为连接的服务创建参数，而不是如何从数据集或活动中实际传递该参数.基本上，连接字符串来自lookup foreach循环，我想连接到存储表. 连接看起来像这样.传递正确的参数后，该测试将起作用: { "name": "StatsStorage", "properties": { "type": "AzureTableStorage",
..
与Azure Data Factory V2的增量同步是否仅支持从Sql Server到Azure SQL
我正在尝试增量同步，以在MySQL和Azure Sql之间设计增量同步数据，请参考新水印发现查找组件仅支持SQL SERVER. 问题 是否有一种方法可以使用ADF v1/v2在云上从托管的Mysql逐步同步到Azure SQl? 我可以使用什么其他组件从Mysql中选择数据，我尝试了存储过程，但它仅支持Sql Server. 解决方案 我们(ADF小组)正在积极致力于扩
..
ADF复制数据活动-在插入SQL数据库之前检查重复记录
我有一个非常简单的ADF管道，用于将数据从本地mongoDB(自托管集成环境)复制到Azure SQL数据库. 我的pipleline能够从mongoDB复制数据并将其插入SQL db. 当前，如果我运行管道，则如果运行多次，它将插入重复的数据. 我已经将_id列设置为SQL数据库中的唯一列，并且由于SQL约束，现在正在运行管道引发和错误，因此不会允许它插入记录. 在插入SQL
..
无法使用SSIS包使用ADF-V2将数据从MySql同步到AzureSql
因为我们可以在ADF-v2上运行SSIS包. 因此，我准备了一个SSIS包以在Mysql和Azure SQL之间同步记录 并低于报告中的错误 我尝试使用ODBC和ADO.Net连接，但是尝试从SSIS目录执行时得到相同的结果. 当我尝试从SSDT执行程序包时，我能够同步记录 问题:除了Azure云连接器，我们不能在ADF-v2中使用SSIS吗? 还请建议我是否缺少任何
..
Azure Data Factory v2门户运行缓慢
这是有关开发过程和使用Azure Data Factory v2的通用问题. 我目前正在使用UI门户来设置和配置管道，数据集，活动，触发器等，但是发现滞后时间很长. 其他用户也一样吗? 不使用门户的人的典型工作流程是什么? (似乎没有v2的nuget包，只有powershell可以替代UI门户.) 解决方案 当您拥有大量资源(管道，数据集等)时，发布性能会很低. PROD
..