按列值进行数据流分区时不会向每个文件夹写入唯一的列值 [英] Data Flow Partition by Column Value Not Writing Unique Column Values to Each Folder

查看:48
本文介绍了按列值进行数据流分区时不会向每个文件夹写入唯一的列值的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在读取一个SQL DB作为源,它输出下表.

I am reading an SQL DB as source and it outputs the following table.

我的意图是使用数据流将每个唯一类型保存到可能命名为特定类型的数据湖文件夹分区中.

My intention is to use data flow to save each unique type into a data lake folder partition probably named as specific type.

我设法创建了单个文件夹,但是我的数据流将所有类型的整个表保存到每个文件夹中.

I somehow manage to create individual folders but my data flow saves the entire table with all types into each of the folders.

我的数据流

来源

窗口

水槽

有什么想法吗?

推荐答案

我创建了一个相同的csv源,并且效果很好,请参考我的示例.

I create a same csv source and it works well, please ref my example.

Windows设置:

Windows settings:

接收器设置:选择文件名选项,如下所示

Sink settings: choose the file name option like this

请注意,请勿在水槽侧再次设置优化.

Note, please don't set optmize again in sink side.

我们可以获得的输出文件夹架构:

The output folder schema we can get:

就目前而言,Data Factory Data Flow不支持自定义输出文件名.

Just for now, Data Factory Data Flow doesn't support custom the output file name.

HTH.

这篇关于按列值进行数据流分区时不会向每个文件夹写入唯一的列值的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆