如何在Azure Synapse或数据工厂管道中设置和获取变量值 [英] How to set and get variable value in Azure Synapse or Data Factory pipeline

问题描述

我已使用Copy Activity在Azure Synapse Analytics工作区中创建了一个管道，将以下JSON加载到Azure Data Lake存储第二代(ADLSGen2)，并将REST Api和Sink(目标)作为ADLSGen2。Ref。

MyJsonFile.json(存储在ADLSGen2中)

{"file_url":"https://files.testwebsite.com/Downloads/TimeStampFileName.zip"}

在同一管道中，我需要添加一个activity2从上面的JSON读取URL，以及activity3将zip文件(在该URL中提到)加载到相同的Gen2 storage。

问题：如何将activity2添加到将从上面的JSON获取URL的现有管道中，然后将其传递给activity3？或者，是否有更好的建议/解决方案来完成此任务。

备注：我尝试了Set Variable Activity(如下所示)，首先在管道中声明一个变量，并在本活动中使用该变量，例如myURLVar，但我不确定如何将myURLVar的值动态设置为上述JSON中的URL的值。请注意，Json文件名(MyJsonFile.json)是一个常量，但URL中的Zip文件名是动态的(基于时间戳)，因此我们不能只对上面的URL进行硬编码。

推荐答案

正如@Steve赵在评论中提到的，使用lookupActivity从JSON文件中获取数据，并使用set variableActivity从查找输出值中提取所需的URL。

• 将lookup活动连接到以前复制数据活动的接收器数据集。

查找活动的输出：

• 我在Set活动中使用了子字符串函数从查找输出中提取URL。

  @replace(substring(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''),indexof(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''),'http'),sub(length(string(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''))),indexof(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''),'http'))),']','')
  

检查设置变量的输出：

设置变量输出值：

这篇关于如何在Azure Synapse或数据工厂管道中设置和获取变量值的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！