创建 ETL 系统(数据导入和转换) [英] Creating an ETL system (Data import and transformation)

问题描述

我的任务是编写一个将数据导入客户系统的模块.我想把这个过程分成 4 个部分:

I have been tasked to write a module for importing data into a client's system. I thought to break the process into 4 parts:

1. 连接到数据源(SQL、Excel、Access、CSV、ActiveDirectory、Sharepoint 和 Oracle)- 完成
2.从源获取可用的表/数据组 - 完成
    我.从选定的表/数据组中获取可用字段 - 完成
    ii.从所选字段中获取所有数据 - 完成
3.根据用户的要求转换数据
4. 将转换后的数据写入 MSSQL 目标

1. Connect to the data source (SQL, Excel, Access, CSV, ActiveDirectory, Sharepoint and Oracle) - DONE
2. Get the available tables/data groups from the source - DONE
    i. Get the available fields form the selected table/data group - DONE
    ii. Get all data from the selected fields - DONE
3. Transform data to the user's requirements
4. Write the transformed data the the MSSQL target

我正在尝试计划如何处理复杂的数据转换，例如:
从表 tblA 中获取 A 列，从表 tblB 中内部连接到列 FA，并用分号将这两者连接起来.

I am trying to plan how to handle complex data transformations like:
Get column A from Table tblA, inner joined to column FA from table tblB, and concatenate these two with a semicolon in between.

或

从源表 tblC 中获取列 C，其中列 tblC.D 不在目标数据库的表 tblG 列 G 中.

Get column C from table tblC on source where column tblC.D is not in table tblG column G on target database.

我担心的不是视觉，而是这个操作在代码中的表现.

My worry is not the visual, but the representation in code of this operation.

我不是要示例代码，而是要一些创意.

I am NOT asking for sample code, but rather for some creative ideas.

数据转换不是自由文本，而是代表动作的拖放对象.

The data transformation will not be with free text, but drag and drop objects that represent actions.

我有点迷茫，需要一些新的输入.

I am a bit lost, and need some fresh input.

推荐答案

看我的回答:操作数据表中的值?

这篇关于创建 ETL 系统(数据导入和转换)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！