老蒋
-
Nginx Web服务器环境利用user_agent屏蔽和限制访问实例
有些细心的网友会发现,我们的网站可能还没有流量或者流量不大的时候,但是有些时候会负载比较大,甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取,有些是采集蜘蛛爬取。我们…
-
记录在Nginx环境将不同的爬虫指向不同的后端
这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录,然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录…
-
记录Nginx和Apache屏蔽指定页面目录不被访问(用户可以访问)
这里简单记录下用户需求,看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取,但是用户是可以翻页显示的。本来开始是用rebots.txt进行…
-
利用Nginx user_agent 屏蔽指定爬虫实现跳转
今天老蒋遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如…
-
腾讯云老用户优惠活动整理 - 新购云服务器/域名优惠/续费升级代金券
我们看到大部分的云服务商的大促活动,给予新个人和企业的优惠福利是比较大的,给老用户的福利是比较小的。这个我们也可以理解,毕竟这个也是大部分公司KPI的考核标准。但是,也有部分服务商…
-
宝塔面板建站可利用一键部署源码快速安装常见100+CMS程序
我们99.99%的用户在用宝塔面板建站,都是常规的创建添加域名然后将CMS程序FTP或者利用文件管理器上传到对应目录解压后步骤向导式安装的。一般老蒋也是这样建站的,且也建议一般的新…
-
宝塔面板建站善用文件管理器进行文件压缩和解压提高运维效率
既然我们有选择云服务器建站,那肯定会用到两个软件,SSH和FTP。前者是用来连接Linux远程服务器的,后者是FTP管理文件的。包括我们后续的服务器运维和网站管理也会用到这两个软件…
-
宝塔面板建站备份数据可借助插件对接第三方云存储备份数据安全
我们不论选择哪家的服务器,以及我们是否有重要的数据,我们一定要学会备份数据。前面"宝塔面板建站如何数据备份的方法(手动备份和自动备份设置流程)"文章中老蒋分别介绍到传统的手动备份和…
-
记录宝塔面板启动HTTPS SSL证书无法打开的问题(解决443端口不通问题)
今天老蒋遇到一个客户需要帮助他在宝塔面板后台启动免费HTTPS证书之后且强制SSL之后网站无法访问的问题。这里老蒋通过排除问题,检查发现是端口443的问题,具体的我也将整改过程记录…
-
宝塔面板无法打开phpMyadmin数据库管理原因和解决
今天上午老蒋帮助一个客户处理网站HTTP更换HTTPS SSL证书的问题。其中我们需要将原来网站的HTTP更换成HTTPS,这个是需要直接在数据库中修改两处网址的。如果我们有使用过…


