消除重复的最佳方法是什么？ [英] What is the best way to eliminate duplicates?

问题描述

大家好， 

我有一个Excel文件作为我的数据源，我只需要插入新记录数据库表目的地。 

一切正常，直到我进入排序转换，我设置了删除重复检查。它经历了永恒的排序......当我意识到，这个过程花了将近10分钟仍在继续。我们正在讨论249,335
行。这是对的还是有更好的方法呢？

提前致谢！

解决方案

您可以使用
SSIS排序转换，其中勾选删除具有重复排序值的行。

Hello all, 

I have an Excel file as my datasource and i need to insert new records only to the database table destination. 

everything works just fine until i get to the sort transformation where i set the remove duplicates check on. it lasts an eternity doing the sorting.. when i realized, the process had taken almost 10 minutes and still going on. Wher are talking about 249,335 rows. Is this right or is there a better approach of doing this ?

Thanks in advance!

解决方案

you can use SSIS sort transformation where tick remove rows with duplicate sort values.

这篇关于消除重复的最佳方法是什么？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！