Nginx屏蔽采集

老蒋 发布于 2021-11-19 15:14:37

有些细心的网友会发现，我们的网站可能还没有流量或者流量不大的时候，但是有些时候会负载比较大，甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取，有些是采集蜘蛛爬取。我们是否可以通过一些技术手段屏蔽呢？这里我们使用较多的还是Nginx，通过user_agent屏蔽和限制...