解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高

2020年9月4日17:26:21 发表评论 26
WordPress主题推荐

最近出现服务器严重卡顿,并经常宕机的情况,让人非常恼火。宕机也不是这一次遇到的事情了,如果问站长们,出现宕机怎么解决,可能统一回答的答案就是升级服务器配置。没错,升级服务器配置确实是最简单有效的解决方法,但不是唯一解决宕机的方法。下面就爱绿豆网出现过宕机的情况,分享一下解决思路的方法,可能不是很专业,但确实解决了服务器宕机的问题,不到之处还请谅解。

解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高

查找服务器卡顿宕机的原因

如何判断服务器出现宕机,很直观的表现就是服务器上面的网站访问慢或者打不开。

爱绿豆网不是第一次服务器出现宕机了,本身服务器配置就是1核2G1M,配置不是很高。之前出现宕机都是手动重启PHP、MySQL、NGINX等服务,每次重启完后可以缓解并得到解决,可是这次遇到宕机,用同样的方法竟然无效。之前出现宕机也没有深究其原因,这次索性就一查到底。

重启命令可以参考:

service mysqld restart //重启MySQL服务

/bin/systemctl restart php-fpm.service  //重启php服务

/bin/systemctl restart nginx.service  //重启nginx

 

一、查看内存和磁盘使用情况

服务器出现宕机的原因,可能是由于高并发导致服务器资源耗尽无响应,也可能是磁盘空间占满耗尽导致网站访问卡顿。【之前介绍过一篇《WordPress网站占满Linux服务器磁盘空间,解决和排查方法》的文章,遇到同类问题的可以去看看】我们可以先用命令查看一下内存和磁盘使用情况。

查看内存使用情况的命令:free -m

解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高

其中参数说明:

  • total:服务器内存总量1829MB(由于使用centOS系统导致内存没有完全发挥);
  • used:内存使用量;
  • free:剩余内存量;

 

查看磁盘使用情况的命令:df -h

解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高

其中磁盘使用率为46%

经过查看,磁盘空间和内存使用情况都没有什么异常。但服务器依然出现宕机,网站依然打不开,而且经常ssh和FTP都链接不上服务器。要知道,如果长时间出现服务器不稳定,会造成流量损失、用户体验差,影响网站的收录和权重。

 

二、查找网站高并发原因

既然无法从磁盘和内存使用情况看出问题,我们就换一个思路,但还是围绕服务器高并发的根源去查。

可以借助百度统计或者谷歌分析工具,查看服务器内所有网站的访问情况。也可以借助阿里云提供的云监控查看当前ECS同时连接数。

解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高

如果显示当前同时访问的访客量大,就说明是高并发且达到服务器最大负载了,这种情况我们建议还是升级服务器配置(推荐阿里云服务器),如果你不想损失掉网站流量的话。当然,如果查看数据显示当前并发访客并不多的情况(具体最高并发数量要看配置情况),我们就需要继续排查了。

经过朋友提醒,搜索引擎蜘蛛爬取网站数据也会导致高并发,并且还会占用大量服务器资源。于是去查看了百度抓取情况,可以根据百度访问日志分析。经查,百度蜘蛛访问量确实太大,最终锁定是搜索引擎蜘蛛抓取造成高并发,导致服务器宕机卡顿。

 

解决服务器宕机卡顿的方法

知道的问题原因,对症下药就可以解决了。我们可以主动和被动两种方法去降低高并发问题。

1、我们可以先去百度站长工具,被动的降低百度蜘蛛抓取频次;

解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高 解决服务器严重卡顿宕机问题日志,小心蜘蛛抓取并发过高

2、降低百度蜘蛛抓取频次只是被动行为,不能主动有效的解决蜘蛛抓取高并发的问题。我们还需要主动去修改MySQL中的最大连接数,其中参数max_connections 指令告诉你当前你的服务器允许多少并发连接。

MySQL/MariaDB 配置文件位于 /etc/my.cnf 。可以动态的修改 max_connections 的值为10,无需重启MySQL服务器:

  1. # mysql -u root -p
  2. mysql> set global max_connections = 10;

记住,太多的连接会导致内存的使用量过高并且会锁住 MySQL 服务器。一般小网站需要 100-200 的连接数,而较大可能需要 500-800 甚至更多。这里的值取决于 MySQL/MariaDB 的使用情况。爱绿豆根据自己的服务器配置,将并发数改到最大承受值为10。具体的数据库优化,可以参考阅读《15 个有用的 MySQL/MariaDB 性能调整和优化技巧(日志)

 

总结

经过以上两个步骤的处理,服务器宕机的情况得到了很大的改善,很明显的体验就是网站可以正常访问,而且ssh和FTP链接服务器也顺畅了很多。优化后,经过两个小时的测试观察,发现这种优化方法对于解决服务器卡顿宕机是有效的。所以,平时在建站的过程中,不要觉得自己的流量和访客很少,所以忽视高并发问题,也有可能是我们站点内容过多,引来了大量蜘蛛,导致蜘蛛抓取数据并发过高。

©爱绿豆,本站推荐使用的主机:阿里云腾讯云;本站推荐使用的WP主题:WordPress主题

爱绿豆
晨会游戏网

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: