获取文件夹中最新添加的文件[Azure Data Factory] [英] get the latest added file in a folder [Azure Data Factory]

问题描述

在数据湖里，我们有一个文件夹，基本上包含了每天由外部来源推送的文件。但是，我们只想处理该文件夹中最新添加的文件。 使用Azure Data Factory有什么方法可以实现这一点吗？

推荐答案

您可以设置modifiedDatetimeStart and modifiedDatetimeEnd在复制活动中使用ADLS连接器时筛选文件夹中的文件。

可能有两种情况：

1.数据是由外部来源推送的在计划中，您应该知道要配置的计划时间。

2.频率是随机的，那么您可能需要将推流数据的时间记录在其他住宅中，然后将时间作为参数传入复制活动管道中，然后再执行。

---

我尝试在ADF管道中为您提供一个流程，如下所示：

我的示例文件在同一文件夹中：

第一步，创建MaxTime和FileName两个变量：

MaxTime是特定日期的关键日期时间，文件名为空字符串。

第2步，使用GetMetadata活动和ForEach活动获取文件夹下的文件。

GetMetadata 1配置：

对于每个活动配置：

Step3：在ForEach活动内部，使用GetMetadata和If-Condition，结构如下：

GetMetadata 2配置：

IF-条件活动配置：

第4步：在If-Condition True分支中，使用Set Variable Activity：

设置变量1配置：

设置变量2配置：

以上所有步骤都旨在查找最新的文件名，变量FILENAME正是目标。

---

在GetMetadata 2中添加另一个新数据集

这篇关于获取文件夹中最新添加的文件[Azure Data Factory]的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！