Oracle删除重复记录oracle 删除重复记录的高效方法 && mysql 删除重复记录方法

时间:2022-04-06 07:39:13
COL1中有重复记录(COL1,COL2为主键),如何删除
  
  1、有少数重复记录(在col1,col2上有索引比较好)
  
  DELETE T
  WHERE (COL1,COL2) IN
  (SELECT COL1,COL2 FROM T GROUP BY COL1,COL2 HAVING COUNT(*) > 1)
  AND
  ROWID NOT IN
  (SELECT MIN(ROWID) FROM T GROUP BY COL1,COL2 HAVING COUNT(*) > 1)
  
  2、大部份记录有重复记录
  
  DELETE T WHERE ROWID NOT IN
  (SELECT MIN(ROWID) FROM T GROUP BY COL1,COL2)
  
  3、其他写法
  
  DELETE T WHERE ROWID IN
  (SELECT A.ROWID FROM T A,T B
  WHERE A.COL1=B.COL1 AND A.COL2 = B.COL2 AND A.ROWID > B.ROWID)
  
  ######################################
  
  10. 删除重复记录
  
  最高效的删除重复记录方法 ( 因为使用了ROWID)
  
  DELETE FROM EMP E
  
  WHERE E.ROWID > (SELECT MIN(X.ROWID)
  
  FROM EMP X
  
  WHERE X.EMP_NO = E.EMP_NO);
  
  11. 用TRUNCATE替代DELETE
  
  当删除表中的记录时,在通常情况下, 回滚段(rollback segments ) 用来存放可以被恢复的信息. 如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是
  
  恢复到执行删除命令之前的状况)
  
  而当运用TRUNCATE时, 回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短.
  
  (译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML)
  
  12. 尽量多使用COMMIT
  
  只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为COMMIT所释放的资源而减少:
  
  COMMIT所释放的资源:
  
  a. 回滚段上用于恢复数据的信息.
  
  b. 被程序语句获得的锁
  
  c. redo log buffer 中的空间
  
  d. ORACLE为管理上述3种资源中的内部花费

 

 

 

mysql 删除重复记录

如果数据库的设计不规范,某个表没有主健,那么肯定会有重复记录的现象,或者存在这种危险。在oracle中,可以通过rowid来删除重复记录,而mysql如何实现呢:
1、准备基表test,待测试。
create table test (c1 smallint,c2 smallint);
insert into test values(1,1);
insert into test values(1,1);
insert into test values(1,2);
insert into test values(2,2);
insert into test values(2,2);
2、创建一个临时表,结构与原表一致,但没有数据。
create table tmp as select * from test where 1=2;
3、将原表数据插入临时表,重复记录合为一条记录。
insert into tmp select distinct * from test;
4、查看一下基表和临时表的数据。
mysql> select * from test;
+------+------+
| c1 | c2 |
+------+------+
| 1 | 1 |
| 1 | 1 |
| 1 | 2 |
| 2 | 2 |
| 2 | 2 |
+------+------+
5 rows in set (0.00 sec)
mysql> select * from tmp;
+------+------+
| c1 | c2 |
+------+------+
| 1 | 1 |
| 1 | 2 |
| 2 | 2 |
+------+------+
3 rows in set (0.00 sec)
5、删除基表数据
mysql> delete from test;
Query OK, 5 rows affected (0.02 sec)
6、将临时表数据插回基表
mysql> insert into test select * from tmp;
Query OK, 3 rows affected (0.03 sec)
Records: 3 Duplicates: 0 Warnings: 0
7、查看一下基表的数据
mysql> select * from test;
+------+------+
| c1 | c2 |
+------+------+
| 1 | 1 |
| 1 | 2 |
| 2 | 2 |
+------+------+
3 rows in set (0.00 sec)
8、数据准确,完成基表重复记录的删除。
方法二:
INSERT INTO "tables1" SELECT name,id FROM "tables" GROUP BY name
借用一个中间表~ 把不复的数据先复制到中间表,再将原表删除,并且将中间表修名成现有表~ 不过INSERT INTO 表 SELECT 这种语法适合mysql4.0以上版本
方法三:(本人经常使用的,特别表大的情况,此法算是效率比较高的了)
新建一个临时表
create table tmp as select * from youtable group by name
删除原来的表
drop table youtable
重命名表
alter table tmp rename youtable