屏蔽爬虫

老蒋 发布于 2015-08-09 00:27:52

今天晚上有网友找到老蒋，说自己新搭建的博客还没有多少流量，网站就打开非常慢，需要刷新很久才可以慢慢打开，而且自己使用的是阿里云VPS主机，速度不至于这么慢，于是老蒋帮助看看到底是什么问题。我们先通过TOP命令看看当前VPS的负载情况，果然占用很高的CPU资源，php-fpm基本上...

老蒋 发布于 2015-08-06 15:21:26

不知道我们各位朋友们的网站是否有出现流量不大，但是我们的主机商会告诉我们某个时间段的时候网站被大量的攻击导致内存占据超标，要求我们处理。同样的，如果我们自己在使用VPS主机环境建站的时候，有些时候因为模拟蜘蛛的抓取、采集，以及有些空User Agent爬虫的抓取，会导致服务器压力...