取&使用Azure逻辑应用程序按块处理大文件数据 [英] Fetch & Process large file data in chunks using Azure logic app

问题描述

我需要处理文件共享中的csv文件，以供API进行处理，并将数据加载到DWH中.

I have a requirement to process csv files from file share to be precessed by APIs and load data into DWH.

• 我已将逻辑应用程序配置为使用本地网关，并且能够使用文件系统连接器连接到文件共享并获取文件.
• 第二，对于小型文件，例如
• 对于少数文件，我可以使用HTTP连接器将数据发送到API.
• 对于诸如133 MB的大文件，由于逻辑应用程序的限制(例如30MB)，我收到以下错误消息.

{

""; status" 413 ，

"status": 413,

""; message" " 文件包含132.617兆字节，超过了最大30兆字节.\ r \ nclientRequestId:4a24a98a-424c-4cab-a71b-62a88f9f6b95" ，

"message": "The file contains 132.617 megabytes which exceeds the maximum 30 megabytes.\r\nclientRequestId: 4a24a98a-424c-4cab-a71b-62a88f9f6b95",

""; source" "文件系统- ne.azconn-ne.p.azurewebsites.net"

"source": "filesystem-ne.azconn-ne.p.azurewebsites.net"

}

我遵循了文档  逻辑应用-处理大消息 建议将数据分块为预定义的字节大小并通过API发送.该文档的块中的上载内容"部分已经说明了如何设置请求响应.我已经按照文档中的说明设置了请求/响应.

I followed the document logic-apps-handle-large-messages which suggest to chunk data into pre-defined byte size and send over APIs. Upload content in chunks section of the document has explained how to setup request response. I have already setup request/response as explained in document.

我正在努力了解如何获取大块文件内容，以使用PATCH请求进行发送并通过API发送. PATCH请求是否需要任何具有文件内容的正文，或者应始终为空?

I am struggling to understand how to get file contents in chunk to send using a PATCH request and send it over APIs. Does PATCH request require any body with file contents or should always be empty?

推荐答案

分块实际上是由HTTP请求连接器本身完成的.您只需要在操作设置中启用分块即可.

The chunking is actually done by the HTTP Request Connector itself. You just have to enable chunking in the settings of the action.

请注意，您向其发出请求的API应该支持分块.

Do note that the API to which you are making the request should support chunking.

这篇关于取&使用Azure逻辑应用程序按块处理大文件数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！