一个项目上线了两个月，除了一些反馈的优化和小Bug之外，项目一切顺利；前期是属于推广阶段，可能使用人员没那么多，当然对于项目部署肯定提前想到并发量了，所以早就把集群安排上，而且还在测试环境搞了一下压测，绝对是没得问题的；但是，就在两个月后的一天，系统突然跑的比乌龟还慢，投诉开始就陆续反馈过来了。
经过排查，原来是频繁执行一条耗时100ms的SQL导致，100ms感觉不长，但就是把系统搞崩了，具体细节如下。
项目采用ABP进行开发，集成统一的认证中心(IDS4)，部分数据对接第三方系统，拆分后的这个项目架构相对简单。
考虑并发量不高，就算是高峰期也不会超过1000，于是就搞了个单台的数据库服务器(MySQL)，测试环境中经过压测，完全能抗住。
上线时，由于线上资源的关系，DB服务器的配置没有按测试环境的标准来分配，相关人员想着后续看情况进行补配。上线推的比较紧，简单评估了配置风险，初步判断没啥大问题，于是就推上线了。
相关技术栈：ABP、IdentityServer4、Autofac、AutoMapper、QuartzNET、EF Core、Redis、MySQL等，这都不重要，重要的是100ms的SQL把系统搞崩了。
由于系统相对不大，并没有把分布式日志、调度监控，性能监控集成上去。
上线期间，前期处于使用推广阶段，一切正常。两个月后的一天，系统处于使用高峰时段，突然陆续收到反馈：系统有点卡！！！于是赶紧进行排查。
由于系统已经是集群部署的，慢这个问题首先怀疑是数据库服务器，于是让DBA的同事排查了一下，没有锁，只是有大量事务等待提交(waiting for handler commit)，通过如下命令可查的：
看到都是插入审计日志记录导致，一看日志记录频率，差不多一秒500条记录。DBA同事说可能是记录插入频繁导致，此时CPU已经爆到100%了，为了快速解决问题，于是就赶紧关掉了一些不必要的日志记录。
这么一改，稍微降了一点，没有事务提交的记录，系统勉强可以撑着用，但是CPU还是在85%~97%波动；
看到这种情况，当然还是不放心，继续排查。 中间有对服务器的配置产生过怀疑，但非常肯定的是这不是主要原因，于是和DBA的同事继续排查。
系统虽然可以正常使用，但时不时的也看看监控屏，CPU一直处于高水位状态，还是有点慌的，因为一有问题，信息和电话都要爆。
突然DBA同事发现有一个单表查询的SQL执行比较频繁，于是单独拿出来试了一下，查询时间150ms左右，这个表的数据量不大，8万左右，但没有加任何索引，因为想着数据量不大，查询时长还可接受，所以当时就没有加相关索引。
定位到这条SQL后，想到的第一步就是增加索引，在测试环境上试了一把，执行效率直接飞速提高到1ms；效果如下：
所以和DBA同事达成一致意见，在生成环境上增加复合索引( 创建索引一定要注意字段顺序 )，在中午时候，系统使用频率不太高，于是就在生成上快速加了索引，我去，CPU一下降到了20%以内，意不意外；就算在使用高峰期，也没超过20%，通过zabbix工具监控看到CPU的效果：
问题算是解决了，总算松了一口气。
这里有个问题： CPU都爆了为什么没有报警提醒，这块DBA同事正在排查相关配置。这里发现CPU爆了，还是无意的远程到服务器，发现很卡，一看CPU才知道爆了。
系统虽小，问题不大，但其实暴露的问题还是挺多。
这次线上小事故暂时分享到这，因为项目不大，所以没有做那么多监控，但以下建议，小伙伴可以参考一下：
文章来自>服务器崩溃了。
聊客登录，老是显示登录失败，说明服务器崩溃，或者服务器在检修维护。
服务器在检修和维护时，由于处理的数据量过于庞大，服务器需要延时开放，所以这时候会登录不上。
也有可能是网络问题，稍等个两分钟。或者把游戏关了重开。在选择大区那个地方多等一会。就可以了。
2高空流水/岩浆
流水会增加服务器计算量拖累服务器运行速度过162修复了问题版本已经必担心高空流水了野外生成地图流水确实多地图系统生成高空流水人容易理解系统生成无法改变只能改变人因素了而且野外生成些流水只要周围没人会对服务器造成负担人流水多人喜欢建自己家附近样会直载入会拖累服务器。岩浆还会造成森林着火建筑物被毁等。
3高频红石
高频红石严重的时候不但会导致游戏服务器崩溃还会导致后台运作不流畅，这边Minecraft酱就给大家科普一下如何放置高频红石出现，腐竹可以通过安装插件来检查，但有的高频红石不会被检测到这个时候要么用/fill指令要么ban掉熊服务器的玩家。
4命令方块
首先先要有服务器op然后获得一个命令方块，之后在命令方块输入/kill @a 然后给它一个不断快速循环的红石脉冲，然后就会无限死亡，根本没有办法去关闭，只能后台去清除，这也算一个，还有很多指令都能炸服务器，到哪都需要op。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）