将本地SFTP文件夹中的数据接收到Azure SQL数据库(Azure数据工厂) [英] Ingest Data From On-Premise SFTP Folder To Azure SQL Database (Azure Data Factory)

问题描述

用法：我会定期(每天/每周)将不同大小的数据文件复制到特定的SFTP文件夹。所有这些文件都需要验证和处理。然后将它们写入Azure SQL中的相关表。文件为CSV格式，实际上是直接对应于Azure SQL中的特定表的纯文本文件。

实现：

计划使用Azure数据工厂。到目前为止，从我的阅读中我可以看到，我可以有一个复制管道，以便将数据从本地SFTP复制到Azure Blob存储。此外，我们还可以使用SSIS管道将数据从本地SQL Server复制到Azure SQL。

但我看不到现有的解决方案来实现我正在寻找的目标。谁能就我如何实现同样的目标提供一些见解？

推荐答案

我会尝试使用Data Flow数据工厂来验证/处理文件(如果您的情况可能)。如果验证过于复杂/依赖于其他组件，那么我会使用函数并将结果文件放到BLOB中。复制活动还能够将生成的CSV文件导入到SQL服务器。

您可以创建执行以下操作的管道：

1. 复制数据-将文件从SFTP复制到Blob存储
2. 通过Data Flow
进行数据处理/验证
3. 并将它们直接汇聚到SQL表中(通过数据流接收器)

当然，您需要integration runtime，它可以通过使用vNet集成或使用自托管IR访问本地服务器。(如果不能公开访问)

这篇关于将本地SFTP文件夹中的数据接收到Azure SQL数据库(Azure数据工厂)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！