如何查找和删除数据库中的重复数据

如何查找和删除数据库中的重复数据

以Excel2010版本为例，可以直接使用数据→删除重复项的功能来实现删除重复数据。

此功能Excel2007及以上版本均可，WPS中也有这样的功能。另外还可以使用公式法去重复，常用的函数是Countif函数。

表里只有两列？？如果是可以这样做

1、select region,store_name into Geography_bak from Geography group by region,store_name

--去掉重复记录的数据写在一个备份表中

2、删除原表的记录。

delete from Geography

3、将没有重复记录的数据插回原表。

insert Geography select from Geography_bak

4、删除备份表

drop table Geography_bak

首先，先说明一个问题。这样的结果出现，说明系统设计是有问题的。

其次

删除重复数据，你要提供你是什么数据库。

不同数据库会有不同的解决方案。

关键字Distinct 去除重复，如下列SQL，去除Test相同的记录；

1 select distinct Test from Table

2 如果是要删除表中存在的重复记录，那就逻辑处理，如下：

3 select Test from Table group by Test having count（test)>1

4 先查询存在重复的数据，后面根据条件删除

还有一个更简单的方法可以尝试一下：

select aid, count(distinct uid) from 表名 group by aid

这是sqlserver 的写法。

如图一在数据表中有两个膀胱冲洗重复的记录。

2

可以通过sql语句“select from 表名 where 编码 in(select 编码 from 表名 group by 编码 having count(1) >= 2)”来查询出变种所有重复的记录如图二

3

通过sql语句"

delete from 表名 where

编码 in(select 编码 from 表名 group by 编码 having count(1) >= 2)

and 编码 not in (select max(编码)from 表名 group by 编码 having count(1) >=2)

"来删除重复的记录只保留编码最大的记录

MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。

第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表

1 create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;

第二步：创建新表RES

1234 CREATE TABLE `res` (`id` int(11),`sfz` char(20)) ENGINE=MyISAM;

第三步：把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段

1 INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152id=tmp3col1

至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。

oracle查询出来的数据消除重复数据的具体步骤如下：

1、首先我们查看表中重复的数据。

2、然后我饿美女使用distinct去除函数查询出去掉重复后的数据。

3、然后我们创建新表把去掉重复的数据插入到新表中。

4、最后使用truncate清空原表中的数据。

5、再向原表中插入新表中重复的数据，即可达到去重复数据的效果。

以上就是关于如何查找和删除数据库中的重复数据全部的内容，包括:如何查找和删除数据库中的重复数据、数据库删掉重复数据、SQL查询，如何去除重复的记录等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！