
是单机还是服务器,若是单机可能是地图加载太大电脑带不起来,若是服务器有可能是高空流水高频红石等卡服造成的是服务器的问题,联系内存设置到200试试。
一个项目上线了两个月,除了一些反馈的优化和小Bug之外,项目一切顺利;前期是属于推广阶段,可能使用人员没那么多,当然对于项目部署肯定提前想到并发量了,所以早就把集群安排上,而且还在测试环境搞了一下压测,绝对是没得问题的;但是,就在两个月后的一天,系统突然跑的比乌龟还慢,投诉开始就陆续反馈过来了。
经过排查,原来是频繁执行一条耗时100ms的SQL导致,100ms感觉不长,但就是把系统搞崩了,具体细节如下。
项目采用ABP进行开发,集成统一的认证中心(IDS4),部分数据对接第三方系统,拆分后的这个项目架构相对简单。
考虑并发量不高,就算是高峰期也不会超过1000,于是就搞了个单台的数据库服务器(MySQL),测试环境中经过压测,完全能抗住。
上线时,由于线上资源的关系,DB服务器的配置没有按测试环境的标准来分配,相关人员想着后续看情况进行补配。上线推的比较紧,简单评估了配置风险,初步判断没啥大问题,于是就推上线了。
相关技术栈:ABP、IdentityServer4、Autofac、AutoMapper、QuartzNET、EF Core、Redis、MySQL等,这都不重要,重要的是100ms的SQL把系统搞崩了。
由于系统相对不大,并没有把分布式日志、调度监控,性能监控集成上去。
上线期间,前期处于使用推广阶段,一切正常。两个月后的一天,系统处于使用高峰时段,突然陆续收到反馈:系统有点卡!!!于是赶紧进行排查。
由于系统已经是集群部署的,慢这个问题首先怀疑是数据库服务器,于是让DBA的同事排查了一下,没有锁,只是有大量事务等待提交(waiting for handler commit),通过如下命令可查的:
看到都是插入审计日志记录导致,一看日志记录频率,差不多一秒500条记录。DBA同事说可能是记录插入频繁导致,此时CPU已经爆到100%了,为了快速解决问题,于是就赶紧关掉了一些不必要的日志记录。
这么一改,稍微降了一点,没有事务提交的记录,系统勉强可以撑着用,但是CPU还是在85%~97%波动;
看到这种情况,当然还是不放心,继续排查。 中间有对服务器的配置产生过怀疑,但非常肯定的是这不是主要原因,于是和DBA的同事继续排查。
系统虽然可以正常使用,但时不时的也看看监控屏,CPU一直处于高水位状态,还是有点慌的,因为一有问题,信息和电话都要爆。
突然DBA同事发现有一个单表查询的SQL执行比较频繁,于是单独拿出来试了一下,查询时间150ms左右,这个表的数据量不大,8万左右,但没有加任何索引,因为想着数据量不大,查询时长还可接受,所以当时就没有加相关索引。
定位到这条SQL后,想到的第一步就是增加索引,在测试环境上试了一把,执行效率直接飞速提高到1ms;效果如下:
所以和DBA同事达成一致意见,在生成环境上增加复合索引( 创建索引一定要注意字段顺序 ),在中午时候,系统使用频率不太高,于是就在生成上快速加了索引,我去,CPU一下降到了20%以内,意不意外;就算在使用高峰期,也没超过20%,通过zabbix工具监控看到CPU的效果:
问题算是解决了,总算松了一口气。
这里有个问题: CPU都爆了为什么没有报警提醒,这块DBA同事正在排查相关配置。这里发现CPU爆了,还是无意的远程到服务器,发现很卡,一看CPU才知道爆了。
系统虽小,问题不大,但其实暴露的问题还是挺多。
这次线上小事故暂时分享到这,因为项目不大,所以没有做那么多监控,但以下建议,小伙伴可以参考一下:
文章来自>
晋江小说城相信大家不会陌生,最近晋江服务器又一次崩溃了,导致网友们说看文看到一半卡了。这个举动确实让人非常生气了,毕竟这件事发生在白天,看文章一半突然卡了看不下去很让人难受。而且这也不是第一次发生了。
晋江小说城大家不会陌生,因为这里面有很多非常出名的小说,也有很多书迷非常喜欢用这个服务器去看自己的小说。但是这个服务器能经常出现一些崩溃的情况,并且不分白天和晚上。导致很多书迷们在看书到一半的时候被卡住了。这种情况可以说是非常难受的。有的人可能看到正精彩的地方,迫不及待看下面画面的时候,突然这个服务器崩溃。
服务器崩溃的时候,一般人首先想到的是自己网速的问题,就开始用其他APP测自己的网速,发现网速没问题之后,又不断地打开这个App 。看看测试是不是好了?在多番测试之后发现根本就没有好,很多网友就去网上求助。发现很多人都遇到了这种情况。因此可以断定这种情况是他的服务器崩掉了。希望这个做APP等服务商能够主动加强服务器的运行情况。
尽量避免出现这种情况,很多人都说突然看不到了会非常难受。这种也影响用户体验感。一旦用户体验感变差,他们将会有很多人选择不去这个网站看小说。这样的话就会非常的不好。看小说是很多人都喜欢的一件事情,因为现在很多小说的情节都非常引人入胜,能够引起书迷的共情共鸣。但是现在看小说,存在这个服务器崩溃的情况,就会让人比较烦躁。毕竟平常看视频看到一半突然卡掉,也会让人崩溃。更何况看自己非常喜欢的小说。
。。这……多大仇…………好吧,言归正传,高频电路一般行不通,是个大型服务器都有反高频的插件。不过小服的话,高频绝对是要亲命的。
把服务器卡死首推高空岩浆,非常卡外加不好处理,如果是OP的话,用发射器周期性发射附魔瓶也是相当好的选择
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)