怎么提高数据库高峰时访问的并发能力

怎么提高数据库高峰时访问的并发能力,第1张

1:首先需要有非常良好的网络带宽,若有上万人同时录入数据的普通的Web信息管理系统,至少需要10M左右的网络带宽,而且网通、电信的主干网都有接入比较好,否则全国各地的网络情况都不太一样,有的城市录入数据时可能会遇到网络非常缓慢的情况,甚至到无法忍受的程度。

2:须有一台牛X的Web服务器 + 一台牛X的数据库服务器(备注接近顶配的奢侈硬件服务器非个人PC),由于是需要录入1000万条以上数据,最好采用Oracle数据库比较理想一些,经得起考验一些。

3:需要进行适当的内存缓存优化策略,不能所有的数据库都依靠SQL数据库的方式把压力放在数据库服务器上,尽量多使用内存的方式处理数据。

4:需要一个牛X的,经得起考验的数据库访问层,因为每秒都有可能成千上万的人在访问,若是质量不良好的数据库访问组件、或者不稳定的数据库访问组件,更容易导致系统崩溃、或者占用非常庞大的内存,最后容易导致整个系统的崩溃。

5:需要优化分页存取数据功能,应为有可能会有1000万条数据,若分页读取数据的功能没能优化到最高,也很容易导致系统的崩溃,因为上万人万一在同一时间,或者接近同一时间点了查询某页数据时,那系统就真崩溃了,分页存取数据一定需要做到极致才可以。

6:需要进行数据库索引优化,有索引和没索引的性能差距有时候会是100倍,大数据量时可能会有1000倍都有可能,数据库索引优化到极致了更容易得到运行顺畅的信息管理系统。

7:严谨高效的数据库事务处理,由于高并发,并且有些单据是需要同时写入多个表,需要保证数据库的一致性,要么全部成功,要么全部失败重新录入数据,所以需要一个高效的数据库事务处理机制的配合。

8:所有的系统的 *** 作日志、异常信息都需要完整的记录下来,当系统发生一些故障时,可以快速排查问题,对正确诊断系统发生的故障的原因做分析参考用。

9:需要经常检测系统的各项指标、例如各服务器的内存使用情况、CPU使用情况、网络带宽使用情况,高峰时的各个参数是什么情况、系统不繁忙时的情况等,若服务器快承受不了压力了,就得马上增加负载均衡的服务器,网络带宽不够了需要增加等等,总不能等系统崩溃了再去做这些事情。

10:每个页面的HTML、JS都进行优化,若某个页面多余发了100个字符的垃圾HTML代码,那1万人每天获得100次,那得占用多少网络带宽,100×100×1万个字符的多余HTML被网络上传输了,要知道接入主干网的网络资源是多么宝贵,费用是多么昂贵。

11:HTML、JS等都可以考虑用压缩模式传输,那样网络传输效率会更高一些。

12:由于全国各地上万人,会有各种各样的人,这些人也未必全是好人,可能某些人心情不好,或者其他什么的,可能就会攻击我们的软件系统破坏数据,这些也可能是由于好奇心导致的,所以系统需要有严格的权限管理控制,不应该进入的页面绝对不能进入,不应该看的数据绝对不让看,不能 *** 作的功能绝对不让多 *** 作,一方面防止没必要的多余的麻烦,另一方面也可以减少系统被攻击破坏的可能性。

mysql数据库超过并发量会pengding mysql数据库超过并发量会

主要是针对数据量很大,和并发访问量高的时候

经验一:

在开发过程中,我们经常会写

SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 0,10

这样的语句用来分页

在有完美索引的情况 对xxx建立索引

前面几页会很快,但如果数据量达到100万级以后,我们查询最后一页

SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 999990,10

这句执行就会很慢,同时有多人访问服务器就会掉 (这里不考虑缓存,因为内容更新太快,有时候缓存了达不到数据的更新的要求)

但如果我们把

SELECT * FROM table WHERE 1 ORDER BY xxx DESC LIMIT 999990,10

换成

SELECT * FROM table WHERE 1 ORDER BY xxx ASC LIMIT 0,10

这两个的MYSQL执行时间可是大大的不一样 当然要注意把这样取出来的结果用PHP重新排序一下

取得的一样是最后一页的数据,当然最中间的两页有部分数据一样

这时候最慢的只是最中间的部分,相对而言,访问最中间的人还是很少的

经验二:

例如论坛帖子列表的显示:

一般是SELECT * FROM table ORDER BY is_top DESC ,post_time DESC LIMIT 0,10这样的分页

两个order by 的执行是非常慢的,哪怕你有再好的索引,

我们的处理办法是 把is_top的数据CACHE住,毕竟is_top的数据量有限,更新这个缓存也容易

然后SQL一样是SELECT * FROM table ORDER BY post_time DESC LIMIT {$num},{$num2}

注意这个$num2 是减掉is_top的数量后的一个值,$num是is_top的数量

当然还要考虑is_top的数据量是不是有好几页,当前页的值是不是都在cache里面

经验三:

SELECT * FROM table ORDER BY RAND() LIMIT 100 这个ORDER BY RAND() 是非常慢的 能不用尽量不要用

处理办法是

1.用PHP生成数组后,然后用SELECT * FROM table WHERE id IN() WHERE IN 也比这个order by rand()快的多

2.如果数量信息不太重多,就用SELECT * FROM table WHERE 1 LIMIT 500 多取点数据,然后用php 处理数组

1.数据库并发访问会出现哪些问题?

---------记录锁死

2.可以通过哪些方法解决么?

------------减少并发数,做一个消息队列,采用异步方式 *** 作数据库


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/6764010.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-03-28
下一篇2023-03-28

发表评论

登录后才能评论

评论列表(0条)

    保存