如何使用SQL编写基本的ETL，而不在每次ETL运行时截断/加载？ [英] How to write a basic ETL using SQL without truncate/load at each ETL run?

问题描述

我有一个OLTP数据库，我正在使用SQL(ETL)将其加载到另一个数据库中。为此，在第二个数据库数据库中，我基于事实和维度创建了星型架构模型。

技术：MS-SQL

事实：销售额

维度：客户、客户、代理

注意：源系统中没有修改日期字段，可以在源系统中删除行。

我有一个代理作业，它每15分钟运行一次，以执行以下操作：对于每个表，我将数据从OLTP数据库加载到相应的临时表中(对于每个维度和事实表)。然后将分段DIM表合并到DIM表中。然后更新分段事实表以包括维度的代理键。然后使用Merge将分段事实数据表与事实数据表同步。这很耗费资源，因为我必须在每次ETL运行时将整个数据加载到临时表中。因此，我正在寻找一种更好的方法--如果有人能告诉我如何做到这一点，这将对我有所帮助。

推荐答案

这很耗费资源，因为我必须在每次ETL运行时将整个数据加载到临时表

1. 在源代码中打开Change Tracking或Change Data Capture并仅提取更改的行

或

2. 使用Transactional Replication从源到临时表或使用Read-Scale Replica或Log Shipping在DW服务器上创建可读副本。

这篇关于如何使用SQL编写基本的ETL，而不在每次ETL运行时截断/加载？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！