Mozilla/5.0 (Linux; U; Android 7.1.1; zh-CN; OPPO R9sk Build/NMF26F) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 UCBrowser/12.6.0.1040 Mobile Safari/537.36
依据下面的格式,修改屏蔽字段即可。
登录VPS后,意外发现内存占用比平时高很多。
接着发现访问IP也异常,再看日志,发现是遭遇了国内一个莫名的恶意爬虫。爬取的网址是前几个月博客遭遇入侵后被恶意上传的文件。
通过这个爬取网站,扫漏洞。郑州市IP最多,还挤占网站大量流量!
UA信息也是:
Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Mobile Safari/537.36
这个UA可以看出是伪造的三星盖世手机客户端浏览器,有些搜索引擎的爬虫也伪造这种型号,但是正规的搜索引擎基本都是有自己固定的格式。
恶意爬虫肯定无疑。检查发现基本上User-Agent都是一致的,所以在NGINX配置当中,可以设置频避这个UA即可。
站点管理,设置,配置文件当中可以禁用UA。
if ($http_user_agent ~ "SM-G900P|LRX21T")
{return 403;}
如果是虚机,或者无面板一件脚本搭建的环境,可以编辑根目录下的配置文件Nginx .conf:
if ($http_user_agent ~* "SM-G900P"){}
return 200 "Fu*ck U";
添加完成后,来自恶意爬虫的访问会被直接禁止。
宝塔如果有安装nginx防火墙,也可以在防火墙设置当中屏蔽:
nginx防火墙--全局配置--User-Agent过滤,添加UA的过滤。
^Mozilla\/5\.0.\(Linux\;.Android.5\.0\;.*Chrome.*Safari\/537\.36
上述操作仅屏蔽该恶意蜘蛛,搜索引擎正常蜘蛛不会被影响。
发表评论