mysql数据库怎么解决高并发问题

mysql数据库怎么解决高并发问题,第1张

限流算法目前程序开发过程常用的限流算法有两个:漏桶算法和令牌桶算法。

漏桶算法

漏桶算法的原理比较简单,请求进入到漏桶中,漏桶以一定的速率漏水。当请求过多时,水直接溢出。可以看出,漏桶算法可以强制限制数据的传输速度。如图所示,把请求比作是水滴,水先滴到桶里,通过漏洞并以限定的速度出水,当水来得过猛而出水不够快时就会导致水直接溢出,即拒绝服务。

图片来自网络

漏桶的出水速度是恒定的,那么意味着如果瞬时大流量的话,将有大部分请求被丢弃掉(也就是所谓的溢出)。

令牌桶算法

令牌桶算法的原理是系统以一定速率向桶中放入令牌,如果有请求时,请求会从桶中取出令牌,如果能取到令牌,则可以继续完成请求,否则等待或者拒绝服务。这种算法可以应对突发程度的请求,因此比漏桶算法好。

图片来自网络

漏桶算法和令牌桶算法的选择

两者的主要区别漏桶算法能够强行限制处理数据的速率,不论系统是否空闲。而令牌桶算法能够在限制数据的平均处理速率的同时还允许某种程度的突发流量。如何理解上面的含义呢?漏桶算法,比如系统吞吐量是 120/s,业务请求 130/s,使用漏斗限流 100/s,起到限流的作用,多余的请求将产生等待或者丢弃。对于令牌桶算法,每秒产生 100 个令牌,系统容量 200 个令牌。正常情况下,业务请求 100/s 时,请求能被正常被处理。当有突发流量过来比如 200 个请求时,因为系统容量有 200 个令牌可以同一时刻处理掉这 200 个请求。如果是漏桶算法,则只能处理 100 个请求,其他的请求等待或者被丢弃。

比如我们在SQL Server中的表中定义一个字段为timestamp类型的字段ts,这个字段的值不需要我们进行控制的。

在Insert与Update时,数据库会自己进行ts值的更新,因此我们只要在Update时使用:

Update xxx where key=@key and ts=@ts 就可以了,根本不用考虑ts里的值更新。

Delete时也最好进行一下判断,用这种方式是可以控制数据并发 *** 作的。

只需要在Update与Delete时,判断"影响条数"就可以知道更新是否成功。

这一点我想非常方便,但不是所有的数据库都支持timestampr的,如在Access里没有timestamp字段,我也不知道其他的数据库是否都有类似的timestamp类型,不管怎么样,我觉得我们不能完全信赖于数据库的控制,而应该采用自设的控制机制,这样可以适应系统的数据库移值,下面我就介绍一下,在.NET下如何实现,自设的时间戳控制。

我们也同样建一个字段ts,定义为Varchar,长度在20以上即可,而且不允许为null,这样比较合适。

我们应该采用什么机制来生成随时的或者说不可能会产生一样的值,我推荐的是DateTime.Now.Ticks,这是一个12位的数字,由于在Update等更新时,数据库会自动进行锁定,所以不可能会在同一时间会有两个一样的 *** 作执行,因此这就可以避免Ticks产生相同的值了。

或者也可以采用Guid值,也可以产生唯一值,但我觉得Guid值太大,可能会影响效率。

那好,在我们Insert时:Insert xxxx ts='221283747584' where key='1'

处理大量数据并发 *** 作可以采用如下几种方法:

1.使用缓存:使用程序直接保存到内存中。或者使用缓存框架: 用一个特定的类型值来保存,以区别空数据和未缓存的两种状态。

2.数据库优化:表结构优化SQL语句优化,语法优化和处理逻辑优化分区分表索引优化使用存储过程代替直接 *** 作。

3.分离活跃数据:可以分为活跃用户和不活跃用户。

4.批量读取和延迟修改: 高并发情况可以将多个查询请求合并到一个。高并发且频繁修改的可以暂存缓存中。

5.读写分离: 数据库服务器配置多个,配置主从数据库。写用主数据库,读用从数据库。

6.分布式数据库: 将不同的表存放到不同的数据库中,然后再放到不同的服务器中。

7.NoSql和Hadoop: NoSql,not only SQL。没有关系型数据库那么多限制,比较灵活高效。Hadoop,将一个表中的数据分层多块,保存到多个节点(分布式)。每一块数据都有多个节点保存(集群)。集群可以并行处理相同的数据,还可以保证数据的完整性。

拓展资料:

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

参考资料:网页链接


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9933692.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-03
下一篇2023-05-03

发表评论

登录后才能评论

评论列表(0条)

    保存