Azure数据工厂在插入到数据库之前合并到文件 [英] Azure Data Factory Merge to files before inserting in to DB

问题描述

我们有两个文件，分别是^分隔文件和逗号分隔的txt文件，它们存储在Blob存储中，如下所示

File1字段类似

ItemId^Name^c1^type^count^code^Avail^status^Ready

文件2字段类似

ItemID、Num、c2

在这里，这两个文件中的第一列是键，根据它，我需要使用Azure数据工厂将它们插入到Azure DB上的一个表中。有人能建议如何在ADF中做到这一点吗？在插入到数据库之前，是否应将这两个文件合并为一个文件。

AzureDB列

物品ID名称c1类型计数代码有效状态就绪编号c2

所以应该是

Item1 ABC(S)1234玩具10 N N/A池N/A 19 EM

Item2 DEF(S)5678玩具7 X N/A池N/A 6 MP

我指的是Merging two or more files from a storage account based on a column using Azure Data Factory，但我不知道在插入到数据库之前是否可以合并这两个文件

推荐答案

您可以使用这两个文件创建两个数据集，使用联接活动将它们联接在一起，然后简单地沉没到数据流中的SQL表。

此处使用的是内部联接，您可以调整以使用您喜欢的联接类型。

您可以看到联接的预览已成功合并了两个文件/数据源。

如果需要，请在接收器中调整字段映射。

以下是我使用的箭头分隔的.csv：

ItemId^Name^c1^type^count^code^Avail^status^Ready
Item1^ABC(S)^1234^Toy^10^N^N/A^POOL^N/A
Item2^DEF(S)^5678^toy^7^X^N/A^POOL^N/A

以下是我使用的逗号分隔的.csv：

ItemId,Num,c2
Item1,19,EM
Item2,6,MP

数据库中的结果：

这篇关于Azure数据工厂在插入到数据库之前合并到文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！