禁止爬虫抓取

• Nginx Web服务器环境利用user_agent屏蔽和限制访问实例

  有些细心的网友会发现，我们的网站可能还没有流量或者流量不大的时候，但是有些时候会负载比较大，甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取，有些是采集蜘蛛爬取。我们…

  运维笔记 2021年11月19日