如何在Azure Synapse或数据工厂管道中设置和获取变量值 [英] How to set and get variable value in Azure Synapse or Data Factory pipeline
本文介绍了如何在Azure Synapse或数据工厂管道中设置和获取变量值的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
JSON
加载到Azure Data Lake存储第二代(ADLSGen2),并将REST Api
和Sink
(目标)作为ADLSGen2
。Ref。
MyJsonFile.json(存储在ADLSGen2中)
{"file_url":"https://files.testwebsite.com/Downloads/TimeStampFileName.zip"}
在同一管道中,我需要添加一个activity2
从上面的JSON
读取URL
,以及activity3
将zip
文件(在该URL中提到)加载到相同的Gen2 storage
。
问题:如何将activity2
添加到将从上面的JSON
获取URL
的现有管道中,然后将其传递给activity3
?或者,是否有更好的建议/解决方案来完成此任务。
备注:我尝试了Set Variable Activity(如下所示),首先在管道中声明一个变量,并在本活动中使用该变量,例如myURLVar
,但我不确定如何将myURLVar的值动态设置为上述JSON中的URL的值。请注意,Json文件名(MyJsonFile.json)是一个常量,但URL中的Zip文件名是动态的(基于时间戳),因此我们不能只对上面的URL进行硬编码。
推荐答案
正如@Steve赵在评论中提到的,使用lookup
Activity从JSON文件中获取数据,并使用set variable
Activity从查找输出值中提取所需的URL。
- 将
lookup
活动连接到以前复制数据活动的接收器数据集。
查找活动的输出:
我在Set活动中使用了子字符串函数从查找输出中提取URL。
@replace(substring(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''),indexof(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''),'http'),sub(length(string(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''))),indexof(replace(replace(replace(string(activity('Lookup1').output.value),'"',''),'}',''),'{',''),'http'))),']','')
检查设置变量的输出:
设置变量输出值:
这篇关于如何在Azure Synapse或数据工厂管道中设置和获取变量值的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文