Oracle海量数据(1000w )重复数据删除方法

时间:2022-06-01 19:36:10

方法1:delete from xxx(表名) where rowid not in( select max/min(rowid) from xxx(表名) group by xxx(需要去重的列名,可以跟逗号实现多个列名去重))。

此方法采用直接删除的方法。但是效率比较低,数据量小的话可以使用。对于超过100w的数据推荐用方法2.

方法2:create table xxx(自定义表名) as select *(如果只需要部分列就直接把需要的列写出来) from xxx(表名)where rowid in (select max/min(rowid) from xxx(表名) group by xxx(需要去重的列名,可以跟逗号实现多个列名去重)) 

此方法采用将非重复数据导出至中间表的方法。可将原表drop,中间表重命名。也可以将中间表数据再导回至原表(暂未实践)。此方法效率较方法1效率有极大的提高。推荐用此方法。