Azure数据工厂复制数据速度很慢 [英] Azure Data Factory copy data is slow

问题描述

源数据库：托管在Azure VM D16s_v3上的PostgreSQL 目标数据库：托管在Azure VM d4s_v3上的SQL Server开发人员版 源数据库大小约为1TB 目标数据库为空，现有架构与源数据库相同

吞吐量仅为1Mb/s。没有任何帮助。(我已选择最大DIU)此时SQL Server没有任何键或索引。

批次大小为10000

查看截图：

推荐答案

我在使用ADF将数据从本地Oracle源复制到Azure SQL数据库接收器时遇到了类似的问题。通过SSIS执行相同的工作大约快5倍。我们开始怀疑数据类型有问题，因为如果我们将所有高精度的Oracle数字列转换为较低的精度，或者转换为类似INTEGER的值，问题就会消失。

事情变得如此糟糕，我们与微软就此提起诉讼，我们最担心的事情得到了证实。

Azure数据工厂运行时DECIMAL类型的最大精度为28。如果源中的小数/数值具有更高的精度，ADF会首先将其转换为字符串。字符串转换代码的性能糟糕透了。

检查您的源是否包含任何高精度的数字数据，或者如果您尚未显式定义架构，请查看是否意外使用了字符串。

这篇关于Azure数据工厂复制数据速度很慢的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！