有什么方法可以对Azure数据流中不同数量的列进行自定义动态映射，或者可以通过其他任何方法来实现此目的? [英] Is there any way to do Custom dynamic mapping of different number of columns in Azure dataflow or any other options to achieve this?

问题描述

我的来源(ADLS中的CSV文件)具有标头记录(3列)，详细记录(5列)和尾部记录(2列).标题记录的列数少于详细信息记录的列数.当我尝试将此csv文件转换为镶木地板时，我在ADF中使用复制活动获取列数错误.因此，我尝试使用数据流进行映射，但仍仅考虑三列，而忽略了详细记录中的其他两列.因此，请让我知道如何使用数据流或任何其他Azure服务来实现这一目标.

My source (CSV file in ADLS) has header record(3 columns) , detail records(5 columns) and trailer record(2 columns) . The header record has less number of columns than the detail records. When I try to convert this csv file to parquet, i m getting the column count error using copy activity in ADF. So I tried using dataflow to do the mapping but still its considering only three columns and ignoring the other two columns in the detail records. So please let me know how to achieve this using dataflow or any other azure services.

1|~filename|~30122020
2|~Mark|~cse|~378|~2020
2|~John|~|~430|~2019
99|~3

推荐答案

数据工厂会将第一行视为列架构.暂时，我们无法使用Data factory actives或Data Flow来做到这一点.

Data factory will consider the first row as the column schema. Just for now, We can't do that with Data factory actives or Data Flow.

这篇关于有什么方法可以对Azure数据流中不同数量的列进行自定义动态映射，或者可以通过其他任何方法来实现此目的?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！