
遇到mysql超出最大连接数,相信不少人第一反应就是查看mysql进程,看有没有慢查询,当然这个做法是完全正确的!
但是很多时候真正的问题不在这里。
今天有遇到同样的问题,一味查看mysql进程和慢查询日志,无果。
后来老大提点了一下,查看一下nginx日志,发现有一两个访问执行时候比较长,然后使用top命令查看了一下服务器负载,惊了,居然超高!
最后发现原来有一台web分流主机挂了,导致另外几台web主机负载增高,从而导致了php-fpm的执行效率降低。
那么这跟mysql有什么关系呢?原因很简单,因为php执行时间过长,mysql连接迟迟未释放,就会导致连接数过多出现。
最后总结:其实很多时候,一个问题的根本原因并不是那么直接的呈现出来,需要自己去跟踪。
老大有一句很实用的话:遇到问题先查日志(mysql、php、nginx等)
===============================================================
排查连接数过多的方法
当用户收到链接数告警时,意味着连接数即将达到该实例的上限。如果实例的连接数超过了实例规定的连接数,将无法创建新的连接,这个时候会影响用户的业务;
Mysql 的连接通常是一个请求占用一个连接,如果该请求(update,insert,delete,select)长时间没有执行完毕,则会造成连接的堆积,迅速的消耗完数据库的连接数,这个时候技术支持人员就要登录数据库进行排序,看看到底是那些sql 占用了连接;
问题排查步骤:
1 、查看实例配置:
可登录RDS控制台“详情与配置”查看实例额定链接数,我们假设最高支持1500个链接
2、 查看当前的连接数:
1)可登录RDS控制台“性能监控”查看实例当前链接数。
2)或者登录数据库查询当前连接,可以使用同步账号或者用户的业务账号登录数据库,执行show processlist;
[root@r41d05036xy2aliyuncom ~]# mysql -uroot -h127001 -P3020 -e “show processlist”|wc -l
1262
可以看到该实例已经有1262 个连接
3、排查是什么动作占用了这些连接:
[root@r41d05036xy2aliyuncom ~]# myql -uroot -h127001 -P3018 -e “show full processlist”>/tmp/1log
root@r14d11038dgaliyuncom # more /tmp/1log
615083 my_db 223449212:54115 my_db Query 100 Sending data
INSERT INTO tmp_orders_modify (oid, tid, seller_id, status, gmt_create, gmt_modified)
SELECT oid, tid, seller_id, status, gmt_create, gmt_modified
FROM sys_infoorders WHERE
gmt_modified < NAME_CONST(‘v_last’,_binary’2012-12-24 10:33:00’ COLLATE ‘binary’) AN
D gmt_modified >= NAME_CONST(‘v_curr’,_binary’2012-12-24 10:32:00’ COLLATE ‘binary’)
621564 my_db 223449212:46596 my_db Query 3890 sorting result
insert into tmp_trades(sid, d, h, tc, tm, tp, ic, new_tp, old_tp)
select aseller_id as sid,
…………
from orders_1 as a where seller_id =1 and is_detail = ‘1’
and created < date_format(‘2012-12-24 10:35:00’, ‘%Y-%m-%d %H:00:00’)
and gmt_create < date_format(‘2012-12-24 10:40:00’, ‘%Y-%m-%d %H:%i:00’)
and gmt_create >= date_format(‘2012-12-24 10:35:00’, ‘%Y-%m-%d%H:%i:00’)
group by d, h
order by d
………………此处省略其他sql
4、分析连接占用的原因:
可以看到数据库中有长时间没有执行完成的sql,一直占用着连接没有释放,而应用的请求一直持续不断的涌入数据库,这个时候数据库的连接很快就被使用完;所以这个时候需要排查为什么这些sql 为什么长时间没有执行完毕,是索引没有创建好,还是sql执行耗时严重。
第一条sql:
INSERT INTO tmp_orders_modify (oid, tid, seller_id, status, gmt_create, gmt_modified)
SELECT oid, tid, seller_id, status, gmt_create, gmt_modified
FROM sys_infoorders WHERE
gmt_modified < NAME_CONST(‘v_last’,_binary’2012-12-24 10:33:00’ COLLATE ‘binary’) AN
D gmt_modified >= NAME_CONST(‘v_curr’,_binary’2012-12-24 10:32:00’ COLLATE ‘binary’)
是用户从sys_info 数据库中拉取订单到自己的业务库中那个,但是在orders 表上没有gmt_modified 的索引,导致了全表扫描;(更加详尽的排查方法可以参考:为什么我的RDS慢了);
第二条sql:
看到这条sql 正在进行sorting 排序,为什么导致sql 长时间sorting,通常情况下为排序的结果集太大导致排序不能在内存中完成,需要到磁盘上排序,进而导致了性能的下降;解决的办法就是降低排序的结果集,常用的手段是利用索引的有序性,消除排序,或者建立适当的索引减小结果集;我们可以看到第二条sql 的排序字段非常的复杂,但是我们可以看到查询的时间范围是很短,只有5 分钟的时间间隔,这个时候就可以在gmt_create上创建一个索引,过滤掉大部分的记录:
Alter tale order_1 add index ind_order_gmt_create(gmt_create);
(该用户对orders 进行了分表,大概有50 多张分表需要添加gmt_create 字段的索引);
5、经过上面两步的优化后,用户实例恢复正常:io 情况和connection 情况,可再次登录RDS控制台查看连接数。
是一种云数据库。用于 php 程序连接数据库使用。因为很多大型网站的数据库读取压力很大,所以使用云数据库RDS这种方式,做到动静态分离。这样服务器和云数据库的压力都会小很多,这样可以让网站打开更快,用户体验更好。
云数据库RDS是阿里云的叫法,每个云服务商的称呼都不同。了解更多情况请移步阿里云数据库RDS MySQL版使用详细过程,看看人家是怎么说的。
这个内容是为了补充和完善我的答案,在网上搜索到的。既然你问了RDS的含义,估计也是想使用,所以就发了上面的内容,希望对你有用处。
用户在购买完RDS后,接下来就可以开始往RDS迁入数据了。在RDS刚刚对外提供服务的时候,用户只能通过将自己的数据库dump成为sql文件,然后再将sql文件source到RDS中去:数据迁移至RDS-MySQL之使用MySQLdump工具,数据迁移至RDS-SQLserver之利用SQL Server客户端工具,这两种方法是最简单的方法,但是局限性也非常的多:
用户的数据库太大了,逻辑sql导入的方式速度太慢了,严重影响停机时间;
在导入的过程中报错很多,或者导入一半的过程中中断了,需要重新来过;
在迁入RDS过程中,希望我的数据库还能能正常提供服务;
大量的用户入云全部堵在迁移数据上面,用户与RDS的缘分就差么这临门一脚。工欲善必先利其器,为了更好的帮助用户入云,RDS对现有的用户入云迁移方式进行改进,帮助用户快速稳定迁移入云,分别为用户提供了mysql和sqlserver两套改良迁移工具:
mysql迁移工具支持在线迁移,用户可以不中断业务的情况下把数据迁移到RDS中来;
sqlserver的迁移工具采用物理备份的方法,将用户的物理备份上传到FTP中后还原到RDS,提升迁移的速度;
这两套工具目前都已经集成到了RDS的控制台中,可以参考:数据迁移至RDS-MySQL之使用阿里云控制台和 数据迁移至RDS-SQLserveru阿里云控制台
很多用户在控制台上看到的只是一个黑盒子,在工单中多次咨询迁移的原理,在这里大致讲一下这两个工具的迁移实现:
Mysql在线迁移的原理:
第一步:预检查,主要是验证用户网络的通畅性,账号和环境的检查;
第二步:全量备份,该步骤会把用户的数据全量的dump出一份出来,然后还原到RDS;
第三步:增量迁移,该步骤会解析用户全量期间以及后续产生的binlog应用到RDS;
第四步:切换,当RDS的数据完全追上用户的数据库后,用户就可以开始进行切换了;
Mysql的在线迁移工具目前还有一些限制,比如:
mysql 50只支持全量迁移,不支持增量迁移;
不支持mysql56的迁移;不支持存储过程,触发器的迁移;
迁移过程中如果有ddl发生则会导致增量迁移失败;
SQLSERVER工具迁移的原理:
第一步:备份用户对本地数据库进行物理备份;
第二步:备份上传至RDS提供的ftp服务器上(ftp地址支持私网和公网上传);
第三步:RDS扫描校验用户上传备份文件通过后,恢复至用户RDS;
第四步:用户切换应用至RDS;
由于sqlserver目前还没有开放日志接口,所以RDS目前还不能支持在线迁移;
RDS目前不支持master库的导入。
希望这篇文章对你使用RDS有帮助。
RDS是专门的数据库,不需要装在ECS里面。可以分开使用。同时RDS可以按需购买,自动扩展。服务器配置ftp和需要的环境就能使用,主要用来跑程序的。 对了,初次购买ecs可以使用好侠客优惠网的优惠券,可以得到不少优惠。
以上就是关于如何解决MySQL超过最大连接数问题全部的内容,包括:如何解决MySQL超过最大连接数问题、云数据库RDS是什么、如何将RDS的数据同步到本地自建数据库等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)