ADF v2没有从ADLS读取所有行 [英] ADF v2 not reading all rows from ADLS

查看:76
本文介绍了ADF v2没有从ADLS读取所有行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述


我正在尝试使用ADF v2将带有247179行的ADLS中的单个文件加载到Azure Datawarehouse。


我使用简单的复制数据,源数据集指向ADLS中的文件,而我的目标数据集是Azure DW中的表。


但是当我执行管道时,只有  220958行正在加载。当我检查执行细节时,我只看到正在从ADLS读取220958。


以下是源属性的代码:


" typeProperties" :{

解决方案

Hello Saidurga Vetrivel,谢谢你的提问。  这个Azure Data Lake Store,Gen1还是Gen2?


另外,你能检查你的容错设置是什么吗?


Hi,

I am trying to load a single file in ADLS with 247179 rows using ADF v2 to the Azure Datawarehouse.

I am using a simple copy data with the source dataset pointing to the file in ADLS and my destination dataset is a table in Azure DW.

However when I execute the pipeline, only 220958 rows are getting loaded. When I checked the execution details, I see only 220958 is being read from the ADLS.

Below is the code for the source properties:

"typeProperties": {

解决方案

Hello Saidurga Vetrivel, and thank you for your question.  Is this Azure Data Lake Store, Gen1 or Gen2?

Also, could you check what your fault tolerance is set to?


这篇关于ADF v2没有从ADLS读取所有行的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆