SQL插入去除重复数据

不知道你用的是什么数据库，以Mysql为例，有几种方式可以去重

1. insert ignore into ...   -- 这种方式当有重复主键的时不会更新数据

2. insert into ... on duplicate key update

3. replace into ...

既然是数据备份，理论上不应该会出现你说的问题，想着应该就是你备份数据的方式有问题

建议你再学习一下如何去实现数据库数据的备份

一般来说可以 数据库设置主从备份，这样数据的同步根本不用人为的去管理，自动就实现了

1 去重

1.1 查询

1.1.1 存在部分字段相同的纪录，即有唯一键主键ID

最常见情况如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组

select * from table where id in (select max(id) from table group by [去除重复的字段名列表,....])

1.1.2 存在两条完全相同的记录用关键字distinct就可以去掉

select distinct id(某一列) from table(表名) where (条件)

1.1.3 查找表中不含重复的数据，根据单个字段（id）来判断

select * from table where id in (select id from table group by id having count (id) >1)

1.1.4 查找表中重复的数据，根据单个字段（id）来判断

select * from table where id not in (select id from table group by id having count (id) >1)

1.1.5 查询全部的重复信息

select * from people where id not in (select min(id) from people group by name,sex HAVING COUNT(*) <2)

1.1.6 查询全部的重复信息

select * from table where id not in (select MIN(id) from table group by name,sex)

1.1.7 删除多余重复的信息，只保留最小ID

delete from table where id not in(select MIN(id) from table group by name,sex)

SQL中，DISTINCT关键词表示去掉重复的行。

SELECT DISTINCT表示查询结果中，去掉了重复的行。在数据库表中，数据可能会包含重复值。有时用户希望仅仅列出不同（distinct）的值。可通过关键词DISTINCT用于返回唯一不同的值。如果要从 "Company" 列中选取所有的值，使用 SELECT 语句：SELECT Company FROM Orders。

扩展资料：

如果指定了SELECT DISTINCT，那么ORDER BY子句中的项就必须出现在选择列表中，否则会出现错误。

比如SQL语句：SELECT DISTINCT Company FROM Orders order by Company ASC是可以正常执行的。

但是如果SQL语句是：SELECT DISTINCT Company FROM Orders order by Num ASC是不能正确执行的，在ASP中会提示“ORDER BY子句与(Num) DISTINCT冲突”错误。

SQL语句修改成：SELECT DISTINCT Company,Num FROM Orders order by Num ASC可以正常执行。

---