如何保存数据工厂存储过程输出
每当我在ADFv2中执行存储过程时，它都会输出为 { "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (Australia Southeast)", "executionDuration": 34 } 即使我在过程中设置了两个变量作为输出。有没有办法将存储过程的输出映射到ADFv2中？到目前为止，我可以
..
azure-data-factory相关内容
如何在活动之前增加Azure数据工厂中的参数？
我正在访问一个REST风格的API，它使用HTTP连接器将结果分成50个组。REST连接器似乎不支持客户端证书，因此我无法在其中使用分页。 我有一个名为SkipIndex的管道变量，其缺省值为0。在Until循环中，我有一个有效的复制数据活动(从HTTP源到BLOB接收器)，然后是我试图获得的一个Set Variable活动，以递增此变量。 { "name": "Add 50
..
带双引号的Azure Data Factory CSV
我有一个管道来检索一个由FTP托管的CSV文件。它用双引号标识符用逗号分隔。存在这样的问题：字符串封装在双引号中，但字符串本身包含双引号。 字符串示例："Spring Sale" this year. 它在CSV中的外观(后面和前面分别有两个空列)： "","""Spring Sale"" this year","" SSIS可以很好地处理此问题，但Data Factory希
..
Azure Data Factory是否支持正则表达式匹配？
我有这样的要求，在我的Azure数据工厂管道中，我有一个筛选器活动，我需要检查文件名是否与特定模式匹配。 例如：>；文件应为CSV文件，且名称应以‘D’开头。 >；文件名必须包含特定单词。 这些值将来自配置文件。 我希望实现是这样的： 我的配置文件将有一个名为"；filePatternt"；的属性，它将是一个正则表达式。 在筛选器活动中，我将提取该属性并执行类似
..
我们可以在Azure映射数据流中进行数据转置吗？
我使用映射数据流在ADF中实现我的M查询脚本。在M查询中有两个函数，一个是Table.Pivot，另一个是Table.Transspose。 映射数据流有枢轴变换，但没有转置。 谁能告诉我，我们是否可以在Azure映射数据流中进行数据转置，或者我需要使用除映射数据流之外的其他东西(数据库、Spark SQL)？ 转置会将所有行旋转为列，并将列旋转为行。 推荐答案 我设法像这样转置
..
如何修复数据工厂v2 ADF_PUBLISH分支与Azure Devop中的主分支不同步
最近我遇到了无法在azure数据工厂中发布与azure devops/git集成的问题。这是因为我们尝试使用PowerShell自动创建基于json模板的管道。当使用Set-AzDataFactoryV2Pipeline在数据工厂中完成此操作时，您绕过了azure devop集成，并且管道立即被发布，而不需要任何提交或拉请求。以下是错误消息 发布错误 发布分支与协作分支不同步。这很可能
..
使用改进的CI/CD进行Azure数据工厂部署
我正在遵循此处发布的为ADF设置的新建议CI/CD：https://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment-improvements 有一节我不太清楚，那就是您现在是否需要管道发布到的其他&q；dev；adf。 在旧模型下，您将在链接到GIT的ADF中进行开发工作，执行拉回请
..
集合以排除Azure数据工厂中的数组项
在Azure数据工厂中，我们有如下集合： intersection([1, 2, 3], [101, 2, 1, 10],[6, 8, 1, 2]) 哪个返回[1, 2] 我在找十字路口的对面。对于给定的两个数组，它应返回第一个数组中不存在的元素。 Ex: If we pass two arrays, Array a: [1,2,3,4,5] Array b
..
Azure数据工厂复杂的JSON源(嵌套数组)到Azure SQL数据库？
我有一个JSON源文档，将定期上载到Azure BLOB存储。客户希望使用Azure Data Factory将此输入写入Azure SQL数据库。然而，JSON很复杂，有许多嵌套数组，到目前为止，我还没有找到一种方法来扁平化文档。可能这不受支持/可能？ [ { "ActivityId": 1, "Header": {}, "Body": [{ "1stSub
..
Azure Data Factory源选项中的递归查询
我正在尝试使用查询选项在Azure数据工厂源中执行递归查询。 但是，即使在with语句之前写入go或；，Data Factory也无法投影这些列。如果我写(在WITH子句之前)： 转到&q；，我收到此错误"shaded.msdataflow.com.microsoft.sqlserver.jdbc.SQLServerException: Incorrect syntax near 'r
..
如何在Azure Synapse或数据工厂管道中设置和获取变量值
我已使用Copy Activity在Azure Synapse Analytics工作区中创建了一个管道，将以下JSON加载到Azure Data Lake存储第二代(ADLSGen2)，并将REST Api和Sink(目标)作为ADLSGen2。Ref。 MyJsonFile.json(存储在ADLSGen2中) {"file_url":"https://files.testwebs
..
使用Azure CLI从故障点重新运行ADF活动
有没有办法使用Azure CLI从ADF中失败的活动中执行重新运行？？我阅读了文档，但只找到了重新运行触发器的方法 az datafactory trigger-run rerun --factory-name "exampleFactoryName" --resource-group "exampleResourceGroup" --run-id "2f7fdb90-5df1-4b8e-a
..
Azure数据工厂错误："；附近的语法不正确
我正在尝试执行一次简单的增量更新，从作为源的本地数据库到Azure SQL数据库，该更新基于本地数据库中名为&rp"；的varchar列，该列包含"；Date+StaticDescription&Quot；例如："；20210314MetroFactory"； 1-我使用在Azure SQL数据库中创建的表创建了一个名为Lookup1的查找活动，并使用此查询
..
ADF利用SQL表变化触发流水线的建议方法
我有一个跟踪SQL表，其架构如下： CREATE TABLE [dbo].[TEST_TABLE]( [id] [int] IDENTITY(1,1) NOT NULL, [value] [nvarchar](50) NULL, [status] [nvarchar](50) NULL, [source] [nvarchar](50) NULL, [t
..
获取文件夹中最新添加的文件[Azure Data Factory]
在数据湖里，我们有一个文件夹，基本上包含了每天由外部来源推送的文件。但是，我们只想处理该文件夹中最新添加的文件。 使用Azure Data Factory有什么方法可以实现这一点吗？ 推荐答案 您可以设置modifiedDatetimeStart and modifiedDatetimeEnd在复制活动中使用ADLS连接器时筛选文件夹中的文件。 可能有两种情况： 1.数据是
..
通过编程获取ADF管道消耗报告
我感兴趣的是查询Data Factory监视器提供的管道消耗报告。在Log Analytics或PowerShell cmdlet上是否有将返回此信息的表？我检查了ADFv2 PowerShell模块，但没有找到任何模块。我的目标是汇总本报告中提供的信息，以确定哪些是成本最高的管道。 引用：https://techcommunity.microsoft.com/t5/azure-data-f
..
将设置变量活动的输出传输到json文件[Azure数据工厂]
在数据工厂中，是否可以将‘Set Variable’活动的输出记录为JSON文件？ 推荐答案 据我所知，没有满足您需要的内置简单方法。 两种变通办法： 1.使用ADF中的EnableAzure Monitor diagnostic log将数据以JSON文件的形式记录到Azure Blob存储中。并且每个活动的execution details(contains outpu
..
如何在ADF中从已执行的管线中获取输出参数？
我有一个将提供输出的Databricks管道，但目前，我需要从已执行的管道运行Databricks，当我试图运行它时，我的Databricks输出没有显示在已执行的管道上？此管道无法显示输出吗？ 这就是我的Databricks输出结果。 [！[在此处输入图片描述][1]][1] 这是我的已执行管道。 如何从已执行的管道中获取runOutput结果？ 推荐答案 您
..
如何将复制数据后的文件名/路径传递到ADF中的Azure函数
在当前管道中有一个复制数据步骤，该步骤将文件从sftp服务器复制到数据湖。 第二步是使用Azure函数处理新复制的数据。 因此，将文件名或文件路径传递给azure函数会更好。以便它可以从数据湖中读取/打开文件，并最终将处理后的数据存储在PostgreSQL中(在vNet内)。 例如，如何在正文中嵌入文件名或文件路径？ 还有另一个选项使用BLOB存储/数据湖上的触发器。我稍微倾向于传递路
..
Azure数据工厂在复制到Blob存储时指定自定义输出文件名
我当前正在使用ADF按计划将文件从SFTP服务器复制到Blob存储。 文件名结构为aaaaaa_BBBBBB_CCCCCC.txt。 是否可以在复制到Blob Storage之前重命名文件，以便最终得到如下所示的类似文件夹的结构？ aaaaa/BBBBBB/CCCCCC.txt 推荐答案 以下是对我有效的方法 我在我的Blob存储数据集中创建了3个参数，如下图所
..