ADF v2中源到宿文件夹的映射 [英] Source to sink folder mapping in ADF v2

问题描述

作为使用ADFv2将数据从ADLS Gen1迁移到ADLS Gen2的一部分，我们有以下方案。

source -> raw/datasourceA/2019/2019-Aug/12-Aug-2019/files
          raw/datasourceA/2019/2019-Aug/13-Aug-2019/files
          raw/datasourceA/2020/2020-Apr/02-Apr-2020/files

target -> raw/eval/datasourceA/12-Aug-2019/files
          raw/eval/datasourceA/13-Aug-2019/files
          raw/eval/datasourceA/02-Apr-2020/files

实现这一点的一种方法是将源路径和目标路径映射到表中，并使用ADF查找活动读取每一行。但是，这样做的结果将是表中有这么多条目。

在ADF中有没有其他动态实现它的方法？ 在控制表中，我只希望有下面的源路径和目标路径，其余的由ADF处理。

source path -> raw/datasourceA/
target path -> raw/eval/datasourceA/

推荐答案

因为您的文件夹是分层的，所以我支持您将文件路径作为参数传递给复制活动。在ADF中，遍历一个分层文件更加方便。

1. 声明数组类型变量并赋值["2019/2019-Aug","2020/2020-Apr"]。

2. 通过添加动态内容@concat('raw/datasourceA/',item())指定文件路径。

3. 然后沉入到目标文件夹。

4. 我们可以看到源文件夹已复制到目标文件夹。

这篇关于ADF v2中源到宿文件夹的映射的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！