Azure数据工厂复制活动非常慢 [英] Azure Data Factory copy activity very slow

问题描述

总结问题

我看到Azure数据工厂的性能特别慢。在StackOverflow上搜索类似的问题，除了联系支持人员的建议外，什么也没有找到。 我在这里掷骰子，看看有没有人看到过类似的东西，知道如何修复它。

简而言之，我在ADF中尝试的每个操作都会导致极其缓慢的性能。 这包括：

• 将Blob存储中的压缩解压缩到Blob存储
• 将一些小型压缩文件复制到Azure数据资源管理器
• 将一些未压缩的小型JSON文件复制到Azure数据资源管理器

Extracting ZIP

Copying to ADX

在这两种情况下，性能都在千字节/秒范围内。 在这两种情况下，复制/导入最终都会正常工作，但可能需要数小时。

描述您尝试过的内容

我已尝试：

• 使用不同地区
• 创建和使用我自己的集成运行时
• 使用可能会影响性能的不同参数，如并行连接等。
• 联系Microsoft支持(将我派到这里的人)

显示一些代码

实际上没有任何可共享的代码。要进行复制，只需尝试从BLOB存储中提取一个压缩包即可。我的速度约为400Kb/s。

总而言之，我们将非常感谢您的任何建议。如果我不能让这个部分工作，我必须手动实现一个摄取工厂，这听起来比我使用ADF时更有趣。

推荐答案

较深的文件夹将影响复制速度。我们应该最大限度地减少复制深度，增加复制活动量。您可以参考document来排除拷贝活动性能故障。或者，您可以向Microsoft Azure发送feedback。

这篇关于Azure数据工厂复制活动非常慢的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！