如何使用Databricks Activity在ADF上实现DevOps
我正在尝试在ADF上实现DevOps，并且该管道在具有从ADLS位置和SQL提取数据的活动的管道中是成功的. 但是现在我有了一个管道，其中的一项活动是从dbfs位置运行jar文件，如下所示. 此管道将运行dbfs位置中的jar文件并继续. 集群的连接参数如下所示. 修改现有的自定义参数化模板，以满足您的需求.此模板控制发布工厂时生成的ARM模板参数.可以在管理中心的参数化模板标签
..
azure-data-factory-2相关内容
ARM模板部署不会删除旧管道
我正在使用ARM模板部署数据工厂.删除管道时，不会从目标环境中删除旧版本.重命名时也会发生同样的情况，我的目标环境然后包含一个具有旧名称的管道和一个具有新名称的管道. 如何删除带有ARM模板部署的旧管道? 注意:我只想删除数据工厂内部的孤立管道，而不要擦除整个数据工厂. 解决方案 为了删除数据工厂内部的管道，您需要运行Microsoft
..
将大量数据从SQL Server传输和转换到Azure SQL Server的最佳方法.Azure数据工厂，HDInsight等
我想找到将20 GB的SQL数据从安装在客户现场服务器Client上的SQL Server数据库传输到我们的Azure SQL Server Source(在S4上具有200 该表显示了基于内部测试在一次复制活动中针对给定的源对和宿对以MBps为单位的复制吞吐数量. 如果希望通过使用Azure数据工厂复制活动更快地传输数据，Azure提供了三种方法来实现更高的吞吐量: 数据集成单位.数
..
Azure | ADF |如何使用String变量在Object类型的Parameter中查找键并检索其值
我正在使用Azure数据工厂.我正在尝试使用String变量在JSON数组中查找Key并检索其Value.我似乎无法弄清楚如何在ADF中执行此操作. 详细信息: 我已经定义了一个名为"obj"的管道参数，键入"Object"和内容: {"values":{"key1":"value1","key2":"value2"}} 参数定义 我需要使用此管道来查找名为"key1"的值
..
获取元数据活动ADF V2
谁能解释我，ADF V2中新引入的“获取元数据活动"有什么用途? 实际上，docs.microsoft.com中提供的信息不足以了解此活动的用途. 解决方案 “获取元数据"活动的主要目的是: 验证任何数据的元数据信息 在数据准备就绪/可用时触发管道 以下示例显示了如何使用获取元数据活动获取文件名和修改的时间戳从文件夹增量加载更改的文件: {
..
Azure数据工厂管道“出现故障"
我正在设置ADF管道，以将blob复制到Azure SQL数据库中.我的管道中有一个Iteration活动，在其中设置了一个计数器，仅当blob存在时才循环并进行复制. 除了一些随机的PK违规之外，这非常有效，我将不得不手动检查.因此，我编辑了管道以记录错误，然后继续.所以我就这样建立了管道. 如果由于主键冲突导致复制活动失败，则(暂时)会忽略，但使用存储过程记录详细信息并照常继续操作，即更
..
1分钟后Azure数据工厂的Web挂钩活动超时
我有一个带有Web挂钩活动的Azure Data Factory V2，该活动用于通过HTTP触发器调用Azure函数，代码如下. using namespace System.Net # Input bindings are passed in via param block. param($Request, $TriggerMetadata) # Interact with quer
..
如果文件夹可能不存在，则Azure ADF GetMetadata子项
我有一个可能存在或可能不存在的DataLakeStorage路径. 我想遍历该文件夹的内容(如果存在). 在C#中，我将安排一个children集合，如果该文件夹不存在，则该集合为空，然后遍历该(可能为空)集合. 我可以在ADF(v2)中做同样的事情吗? 如果我做一个Get Metadata活动，同时返回了exists和childItems，那么它几乎可以工作: 如果
..
Azure ADF表达式基于布尔返回一个现有数组或一个空数组
我有一个布尔表达式:equals(myStringValue, targetStringValue) 我有一个可能无效的数组表达式，具体取决于布尔条件myArrayExpression. 我要写: if( equals(myStringValue, targetStringValue), myArrayExpression, ????? ) 其中?????是一个返
..
具有MSI身份验证的Azure数据工厂Web活动
我们正在使用Azure数据工厂将数据从本地复制到Azure.我们已经实施了多项活动来完成数据复制.到目前为止，我们一直在使用针对网络活动的基本身份验证来调用网络API方法. 根据最新的监视UI，它还支持MSI身份验证.我们尝试使用，但没有任何运气.另外，尝试搜索相关内容，但未获得与数据工厂网络活动和MSI身份验证有关的任何信息. 我们如何实现对Web Activity的身份验证?
..
在ADF V2中-如何为S3数据集动态地将日期("yyyyMMdd")附加到文件名中
我目前正在自动执行ADFv2中的管道，其中源数据位于S3中.每天都会创建一个新文件，其结构为"data_20180829.csv" 我尝试在复制数据活动的fileName字段中检测动态内容以实现此目的.但是，即使我尝试使用@ {concat('data _'，'20180829.csv')}之类的简单方法(应该解析为正确的值)，该源也会失败. 是否可以查看动态内容将解决的内容?
..
如何在SQL中创建临时表以在多个ADF活动中使用?
在执行Azure数据工厂管道时，我需要在SQL Server中创建全局临时表.该表将在几个活动中使用. 我已经尝试了几种方法，包括一种使用针对sys.sp_executesql SP和CREATE TABLE语句作为参数的“存储过程"活动的方法.通过这种方法，实际上可以创建表，但是稍后会自动将其删除，我不知道为什么. 这是用于创建临时表的脚本: CREATE TABLE ##te
..
将Web Activity调用的输出用作变量
我正在使用ADFv2传输一些数据.作为此操作的一部分，我需要一些配置值才能传递到管道中. 必须在运行时从REST服务中提取配置值-不能作为参数. 我可以使用Web Activity成功查询REST服务，并且可以在调试视图中看到输出. 现在是问题:) 如何在管道的其他活动中使用此输出? 我的Web活动配置如下: { "name": "Web1", "type":
..
参数的Azure数据工厂源数据集值
我在Azure Datafactory中有一个由CSV文件支持的数据集.我在数据集中添加了另一列，并希望通过数据集参数传递它的值，但是值永远不会复制到该列中 "type": "AzureBlob", "structure": [ { "name": "MyField", "type": "String"
..
设置可变活动Azure Data Factory v2
我正在尝试这项新功能，当我尝试在foreach循环中使用set variable活动时，无法选择在管道中声明的变量. 也在IF活动中. 它应该表现得像这样吗?您不能在某些内部活动中设置变量，只能在管道的根级进行设置吗? 解决方案 这是一个已知的错误，其中设置变量和附加变量活动嵌套在另一个活动中时无法正确检测到更改.积极地进行修复，希望能尽快解决此问题:)
..
调用rest api时，Web活动引发了超限错误
我的ADF管道有一个查找活动，该活动使用sql查询从表中获取数据，并将其传递到Web活动，该活动将JSON发布到API(Azure应用程序服务).当查询获得1000行时，它可以正常工作，但是当我尝试超过5000行时，网络活动将返回错误. "errorCode": "2001", "message": "The length of execution ouput is over limit (
..
使用数据工厂将表从SAP BW提取到Azure Data Lake Gen2
我想知道将表从安装在Azure云上的SAP BW提取到Azure数据湖gen2的过程.我想使用ADF将数据从SAP BW复制到Data Lake. 我们可以使用SAP连接器将ADF直接连接到SAP吗?为此连接是否需要安装Runtime Integration和任何VM? SAP BW Open Hub连接器和通过MDX的SAP BW有什么区别? 当SAP也托管在Azure上时，想听听专
..
带有Azure Datalake Storage Gen 2的Azure Datalake Analytics U-SQL
问题:将ADLA(U-SQL)与ADLS(Gen2)结合使用的前进方向是什么? 现在我在美国东部2一直通过Azure数据工厂(ADF v2)和Azure数据湖商店第1代来运行Azure数据湖分析(U-SQL)作业 我正计划部署另一个实例来迎合加拿大客户，并希望设置Azure Data Lake Store Generation 1 我尝试过的事情: 我无法在加拿大中部(或任
..
Azure Data Factory缩小而不创建文件夹
我有一个Data Factory v2作业，可将文件从SFTP服务器复制到Azure Data Lake Gen2. .csv文件和.zip文件混合在一起(每个文件仅包含一个csv文件). 我有一个数据集用于复制csv文件，另一个数据集用于复制zip文件(Compressoin类型设置为ZipDeflate).问题是ZipDeflate创建了一个包含csv文件的新文件夹，我需要它尊重文
..
如何使用Azure Monitor或ADF本身触发Azure Data Factory V2中长时间运行的过程的警报通知?
我一直在试图找到一种最佳方法，当ADF任务(即CopyActivity或存储过程任务)运行超过N个小时时，触发警报.我想使用Azure监视器，因为它是其中之一Azure中推荐的通知服务，但是我找不到“运行"条件，因此我不得不使用可用条件(“成功"和“失败")并每N小时检查一次，但是，这仍然不完美不知道流程何时开始，我们可能一天要多次手动运行该流程，您有什么建议这样做吗?例如基于事件的通知，它会侦听
..