MySQL 五个字段如何快速查重

对mysql快速批量修改,查重

更新

UPDATE mytable

SET myfield = CASE id

WHEN 1 THEN 'value'

WHEN 2 THEN 'value'

WHEN 3 THEN 'value'

END

WHERE id IN (1,2,3)

查重

select t.* from vinstatic t inner JOIN (select vin, count(0) num from vinstatic group by vin) t1 on t.VIN=t1.vin where t1.num>1

用关键字 stinct，select stinct 字段，是不重复的意思。代码的实例如下：

查询order_id和loan_lind两个字段相同的记录：

select distinct a.order_preview_id, a.order_id, a.loan_kind

from ddk_order_preview_info a

join ddk_order_preview_info b

on a.order_preview_id != b.order_preview_id

where a.order_id = b.order_id and a.loan_kind = b.loan_kind

扩展资料

SQL数据库查询出一张表中重复的数据，按某个字段来查找的实例：

例如表名为Course：

需要查询出name的重复，解答如下：

补充：

如：查询每个姓名出现大于2次，SQL如下

SELECT COUNT(NAME) as '出现次数',  NAME FROM  表名

GROUP BY  NAME   HAVING count(NAME) >2   ORDER BY  出现次数   DESC

参考资料来源：MySql官方网站-MySQL 8.0参考手册-13.2.10 SELECT语法

看到你的追问。数据库是20W级别的。

如果用O(n^2)的更新是肯定超时的。

计算次数是20W*20W*字符长度

我给你提个O(n)的思路，不过要用程序实现，SQL没机会。HQL或许有，但是不会。

首先是把A,B表中的都读到内存。

然后做哈希，开个10^10布尔类型的数组，1G内存多点，2G肯定够用。

然后做A表的哈希，

做好后遍历B表，做哈希。重复的做标记。

完成一轮后使用令一套保证跟第一次哈希不重复的哈希算法再遍历一次标记过的B表，

再遍历A表。

如此只需分别遍历两次AB表，即可完成查重。

然后把B表中重复的删掉即可。

计算机的执行效率大约是每秒10000*10000次。

如果把AB表中的string型主键转成int型存储，然后再做比对。

大约是20W*20W*2的比对次数，那么800秒，就是20到40分钟。

都应该可以比对完，但是如果是如题描述的12位字符。就需要几个小时甚至几天了。

再说一种O(Nlog2N)的算法。

首先是对A,B进行合并，然后做快排序。

然后遍历一次进行顺序查重。

这种方法用的内存比较少，计算量是40W*100，基本上10秒内都能出结果。

---