海量数据去重-精确去重[Bitmap]

假如我们使用Bitmap（或称BitSet）储存，定义一个很大的bitmap数组，每个元素对应Bitmap中的1位。

初始数组都是0，每个原始在数组中的index位置标识为1

估算示例：

 （1）若有10^9 个元素，即10亿，则占用的内存为120M 。（10^9/8/1024/1024=120M）

 （2）所有2^32个元素，约43亿，则占用内存为512M 。 (2^32/8/1023/1024=512M)

    注： IntegerMax_value=2^32;

场景分析：

某电商平台，要分析每个商品的UV，可能涉及到不同维度组合的商品UV统计，到底需要定义多少以及多大的BitMap去存储呢？

首先，商品有热们和冷门之分，热门的UV可能比较多，冷门的可能寥寥无几。另外时间维度可能有分/时/天/周/月等等，还有渠道维度等等，用户的需求可能基于多个维度组合统计。这个给计算带来很大的挑战，是否有一种动态的内存分配方案，更好的利用内存资源呢？

答案是 : 使用RoaringBitmap 。

RoaringBitmap 跟JDK18 currentHashMap的思路有点像，如当hash冲突时，如果链表节点个数>8个，则转化为红黑二叉树存储。如果<6则自动转化为普通链表存储。

它将一个32位的Integer 分为高16位和低16位，前者用于创建桶，总计 2^16 个桶 short[]，没有则创建一个。（把它理解为index索引桶也行，后者作为value，放入该桶中。高16位相同的数据在同一个桶中values[] ;

即 

> 将一个数值 k 划分为高 16 位(k % 2^16)和低 16 位(k mod 2^16)，取高 16 位找到对应的桶，然后在低 16 位存放在相应的 Container 中；

在这里，RoaringBitmap 也会根据一个阈值4096，

若元素数量<4096则使用ArrrayContainer储存；

若元素数量>4096则使用BitmapContainer储存；

ArrayContainer ：存储稀疏少量的数据。

BitmapContainer: 存储稠密的数据 （占用内存始终是8kb)

这里有个问题：上面假设存放的Integer类型，那非Integer类型如何存储？

答：需要建立一个非Integer类型到数值类型的映射关系表。

既然后面的被前面的给覆盖了，那么就把自己想要的结果倒序过来，放在第一个位置。

这个方法只用到了list类型属性中的一个值。对于仍需要全部list类型属性全部值不去重的话，本解决方法不适用。

MyBatis本是apache的一个开源项目iBatis，2010年这个项目由apachesoftwarefoundation迁移到了googlecode，并且改名为MyBatis。

sqlserver表结构：

sql语法：

'''sql_str= u"MERGE INTO T_AGENT_PHONE_DETAIL_copy a " \

u"USING (select '%s' as S_TEL, '%s' as S_MOBILE) b " \

u"ON (aS_TEL = bS_TEL and  aS_MOBILE = bS_MOBILE) " \

u"WHEN NOT MATCHED THEN " \

u"INSERT " \

u"(I_CITY_ID, S_CITY_NAME, D_IN_TIME, S_DETAIL_URL ," \

u"S_MOBILE ,S_TEL ," \

u"S_COMPANY_NAME, S_CONTACT, I_SITE_ID, S_SITE_NAME, D_COMPANY_CREATE_TIME, I_DATA_TYPE, S_COMPANY_STATUS, S_COMPANY_DESC) VALUES " \

u"(%s, '%s',getdate(),'%s','%s','%s','%s','%s', '%s', '%s', '%s' , '%s', '%s', '%s');" % (

              tel,

mobile,

city_id,

city_name,

detail_url,

mobile,

tel,

company_name,

contact,

selfweb_id,

selfweb_name,

company_create_time,

data_type,

company_status,

company_desc

)'''

不支持macdown贴上方便观看：

不知道你用的是什么数据库，以Mysql为例，有几种方式可以去重

1 insert ignore into    -- 这种方式当有重复主键的时不会更新数据

2 insert into  on duplicate key update

3 replace into 

既然是数据备份，理论上不应该会出现你说的问题，想着应该就是你备份数据的方式有问题

建议你再学习一下如何去实现数据库数据的备份

一般来说可以 数据库设置主从备份，这样数据的同步根本不用人为的去管理，自动就实现了

以上就是关于海量数据去重-精确去重[Bitmap]全部的内容，包括:海量数据去重-精确去重[Bitmap]、mybtis一对多映射List怎么不去重、同一数据库MERGE INTO去重插入数据。等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！