Nginx 过滤爬虫

运维笔记

利用Nginx user_agent 屏蔽指定爬虫实现跳转

老蒋 发布于 2021-11-19 14:21:20

今天老蒋遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如用到user_agent(UA)进行过滤。在这里简单的整理几个常用的UA过滤办法。 #禁止Scrap...