Nginx分离爬虫

• 运维笔记

  记录在Nginx环境将不同的爬虫指向不同的后端

  这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录，然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录…

  2021年11月19日