Nginx屏蔽爬虫
-
记录Nginx和Apache屏蔽指定页面目录不被访问（用户可以访问）
这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行…
这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行…
