批量ADF从SQL Server复制到Data Lake，然后从Polybase复制到SQL DW [英] Bulk ADF Copy from SQL Server to Data Lake and then Polybase to SQL DW

问题描述

我可以成功批量复制，但容器中的文件当前是块blob。 Azure门户UI无法打开文件。

I can successfully bulk Copy, but files in container are currently block blob. Azure Portal UI is not capable to open the file.

1）Data Lake中文件格式的最佳做法是什么？我们这里有结构化数据。我应该使用"文件"吗？存储？

1) What is best practice for format of file in Data Lake? We have here structured data. Should I use "Files" of Storage?

2）SQL Server DW Polybase读取文件的最佳格式是什么？

2) What is optimal format for SQL Server DW Polybase to read files?

3）如何为导入年制作文件夹，月份和日期？ 

3) How to make folder for import year, month and dates? 

" name" ：
"DataLake_DelimitedText1"，

推荐答案

嗨Kenny，

Hi Kenny,

1。 Azure Data Lake Gen2是一个基于Azure Blob存储的大规模可扩展，安全的数据湖功能。因此它适用于blob存储。 

1. Azure Data Lake Gen2 is a Massively scalable, secure data lake functionality built on top of Azure Blob Storage. Hence it works with blob storage. 

2。我建议将csv文件存储在ADLS Gen2存储帐户中，因为它很容易使用SQL DW作为Azure数据工厂中的接收器进行映射。

2. I would recommend having csv files stored in the ADLS Gen2 storage account as it's very easy to map with SQL DW as sink in Azure Data Factory.

3。您可以使用管道参数来设置读取分区数据。有关详细信息，请参阅

此文档。

3. You can use pipeline parameters to set up reading partitioned data. For more info, please refer this doc.

希望这会有所帮助。

这篇关于批量ADF从SQL Server复制到Data Lake，然后从Polybase复制到SQL DW的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！