从REST API获取数据并将其存储在Azure Data Lake中 [英] Getting data from REST API and storing it in Azure Data Lake

问题描述

从rest API获取数据并将其作为JSON存储在Azure数据湖中有意义吗？还是应该将数据直接存储到Azure SQL中？

我已经尝试了这两种方法，但不清楚在哪种情况下将数据保存到Azure Data Lake是值得的。

推荐答案

是的，这是一种非常正常的模式，特别是在收集大量数据时。写入数据库是很棒的但至少有两个方面需要考虑：

1. 写入时架构-您必须在写入数据库之前知道架构。这意味着在您甚至可以考虑写入记录之前，所有列、所有数据类型、可为空性、排序规则。例如，您将如何处理JSON的架构更改？
2. 事务日志记录-大多数Microsoft SQL数据库使用预写日志或WAL，这意味着事务日志记录必须在事务被视为已完成的ACID事务的一部分之前完成。在数据库负载较重或并发程度较高的情况下会发生什么--排队和阻塞。通常，这些事情只需要几毫秒，但低层等会起作用。如果你需要这样的东西，像最终一致性这样的替代模式是可能的。

合同中的数据湖是读取时架构，即您不必知道架构即可写入该湖，因此您只需将其登陆并在以后弄清楚其他内容。

这不一定适用于您关于Synapse的其他问题，因为您面临着丢失完美的SQL Server数据类型的风险。请查看migration wizards中的一个。

这篇关于从REST API获取数据并将其存储在Azure Data Lake中的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！