场景:
爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重
解决:(直接举例)
首先创建两个表pep,pep2,其中pep是主表
1
2
3
4
5
|
CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
` no ` VARCHAR (100) NOT NULL ,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
|
然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据
1
2
3
4
|
insert into pep( no ) values ( 'abc' );
insert into pep( no ) values ( 'caa' );
insert into pep2( no ) values ( 'abc' );
|
将pep2的数据插入pep中
1
|
insert into pep ( no ) select no from pep2;
|
分组去重创建新的临时表tmp
1
|
create table tmp select id, no from pep group by no ;
|
注意:创建完这个表的id字段类型已经不是主键自增
1
2
3
4
5
6
7
8
9
10
11
12
13
|
可能也会报错
```Syntax error or access violation: 1055 Expression #1 of SELECT
list is not in GROUP BY clause and contains nonaggregated
column 'XXX.Y.ZZZZ' which is not functionally dependent on
columns in GROUP BY clause; this is incompatible with
sql_mode=only_full_group_by
```
解决:执行以下两个命令:
```
mysql> set global sql_mode= 'STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION' ;
mysql> set session sql_mode= 'STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION' ;
```
|
删除pep表,并将tmp表重命名为pep
1
2
|
drop table pep;
alter table tmp rename to pep;
|
查看desc结构和select * from pep发现id的字段类型变了,这里需要改回原来的类型;
1
2
|
alter table pep add primary key (id);
alter table pep modify id int auto_increment;
|
还有可以使用join来做去重,更快的还可以添加一个字段(可以是几个字段+起来的的md5值),给这个字段创建一个唯一索引unique,以后插入数据的时候,自动回过滤掉重复的数据。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对服务器之家的支持。
原文链接:https://segmentfault.com/a/1190000019306337