ETL测试 - 场景

结构验证

它涉及验证根据映射文档的源和目标表结构.

应在源系统和目标系统中验证数据类型.

长度源系统和目标系统中的数据类型应相同.

源系统和目标系统中的数据字段类型及其格式应相同.

验证目标系统中的列名.

验证映射文件

它涉及验证映射文档以确保已提供所有信息.映射文档应该有更改日志，维护数据类型，长度，转换规则等.

验证约束

它涉及验证约束并确保它们应用于预期的表.

数据一致性检查

它涉及检查外键的完整性约束的滥用.

属性的长度和数据类型可能在不同的表中有所不同，尽管它们的定义在语义层保持相同./p>

数据完整性验证

它涉及检查是否所有数据都是从源系统加载到目标系统.

计算源中的记录数和目标系统.

边界值分析.

验证prima的唯一值ry keys.

数据正确性验证

它涉及验证目标系统中数据的值.

在表格中找到拼写错误或不准确的数据.

Null，Not在导入时禁用完整性约束时存储唯一数据.

数据转换验证

它涉及创建方案的电子表格输入值和预期结果，然后与最终用户进行验证.

通过创建方案验证数据中的父子关系.

使用数据分析比较每个字段中的值范围.

验证仓库中的数据类型是否与数据模型中提到的相同.

数据质量验证

示例 : 所有值的日期格式应相同.

空验证

它涉及检查Null值，其中为该字段提及Not Null.

重复验证

当数据来自源系统的多个列时，它涉及验证目标系统中的重复值.

如果根据业务需求存在任何重复值，则验证主键和其他列.

日期验证检查

验证在ETL过程中执行的各种操作的日期字段.

执行日期验证的常见测试用例 :

• From_Date不应大于To_Date

• 日期格式值应该是正确的.

• 日期值不应有任何垃圾值或空值

完整数据验证减号查询

它涉及使用减号查询验证源表和目标表中的完整数据集.

• 您需要执行源减去目标和目标减去源.

• 如果减号查询返回一个值，这应被视为不匹配的行.

• 您需要使用 Intersect 语句匹配源和目标中的行.

• Intersect返回的计数应与源表和目标表的各个计数相匹配.

• 如果减号查询没有返回任何行且计数相交小于源计数或目标表计数，则该表包含重复的行.

其他测试场景

其他测试场景可以验证提取过程没有从源系统中提取重复数据.

测试团队将维护一个运行的SQL语句列表，以验证是否没有从源系统中提取重复数据.

数据清理

在将数据加载到临时区域之前，应删除不需要的数据.