近期爆出的一亿多条数据按邮箱字段去重复,什么数据?你懂的!
一亿多条数据,按邮箱去错去重复,还剩6000多万。
以下是sql语句,海量数据还真不是那么好玩的呀,随随便便一个sql都要跑上十几分钟,半小时。。。。
SELECT MIN(ID) as id into tmp from Tbl_AllUser group by email --先按mail去重后将ID写入临时表中
insert into tbl_AllUser_New
select UserName,Email,Source from Tbl_AllUser right join tmp on Tbl_AllUser.id=tmp.id --再按临时表中的ID将数据写入新表中
求更优的SQL!