主机运维 第48页

老蒋 发布于 2021-11-22 11:17:41

日常我们看到的存储单位是多少？KB、MB、GB 和TB，反正老蒋目前用到的存储单位也就最大是TB。不过有些朋友的数据比较大，比如有朋友在较大的公司做运维的话，他们的数据盘和存储就不是用TB作为单位的，而是用PB。甚至还有EB和ZB。那这些我们估计没有看到的单位和我们知道的单位之间...

老蒋 发布于 2021-11-19 15:32:12

如果我们深入研究Nginx的功能还是蛮有意思的，比如我们前面有聊到UA可以控制爬虫限制和放行访问。我们也可以利用Nginx进行控制和限制URL、目录，以及IP地址的访问。比如有一些运维的时候，需要用到屏蔽某些IP地址，或者是我们某个目录只能某个IP地址访问或者限制访问。 在这篇文...

老蒋 发布于 2021-11-19 15:14:37

有些细心的网友会发现，我们的网站可能还没有流量或者流量不大的时候，但是有些时候会负载比较大，甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取，有些是采集蜘蛛爬取。我们是否可以通过一些技术手段屏蔽呢？这里我们使用较多的还是Nginx，通过user_agent屏蔽和限制...

老蒋 发布于 2021-11-19 14:57:56

这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录，然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user_agent $is_bot { def...

老蒋 发布于 2021-11-19 14:41:43

这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行屏蔽的，但是效果不大。 User-agent: * Disallow: /*/*/page/ 屏蔽后...

老蒋 发布于 2021-11-19 14:21:20

今天老蒋遇到网友一个网站负载比较大，然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话，可以通过一些CDN前端过滤也是可以的，同时，我们可以用Nginx设置过滤爬虫，比如用到user_agent（UA）进行过滤。在这里简单的整理几个常用的UA过滤办法。 #禁止Scrap...

老蒋 发布于 2021-11-17 13:18:59

今天上午老蒋帮助一个客户处理网站HTTP更换HTTPS SSL证书的问题。其中我们需要将原来网站的HTTP更换成HTTPS，这个是需要直接在数据库中修改两处网址的。如果我们有使用过WordPress程序的朋友应该是知道的，但是我在登录他的宝塔面板后台的PHPMYADMIN的时候发...

老蒋 发布于 2021-11-16 11:43:56

目前我们做网站域名解析都用的什么？比如我们较多的用户会选择使用域名注册商自带的解析直接用，或者用免费第三方DNS服务统一管理所有的域名。但是，如今老蒋看到有不少的朋友开始选择使用阿里云云解析服务器，或者腾讯云DNSPOD专业版解析服务。我们选择这些付费的DNS服务到底有哪些优势和...

老蒋 发布于 2021-11-04 14:08:16

这几天老蒋打算好好研究一下Nginx相关的文章，还特意前几天双十一活动图书折扣的时候买了两本书，不过看书头有点大，还不如实际操作。这不几天老蒋在研究Nginx 和 Apache WEB环境的IP并发数设置，具体简单的整理如下。 1、Nginx 设置 1.添加limit_zone ...

老蒋 发布于 2021-11-04 13:51:42

由于运维工作的需要，我们需要禁止指定的IP或者IP段访问网站，于是我们可以用常见的Nginx设置，但是我们其实还可以用PHP脚本设置直接加载在我们的访问页面头部。或者我们也有可以用到Apache环境脚本如何设置的，在这里老蒋整理几个常见的设置方法。 1、PHP禁止IP和IP段访问...