谷子猫博客
Mozilla/5.0 (Linux; U; Android 7.1.1; zh-CN; OPPO R9sk Build/NMF26F) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 UCBrowser/12.6.0.1040 Mobile Safari/537.36
依据下面的格式，修改屏蔽字段即可。
登录VPS后，意外发现内存占用比平时高很多。
接着发现访问IP也异常，再看日志，发现是遭遇了国内一个莫名的恶意爬虫。爬取的网址是前几个月博客遭遇入侵后被恶意上传的文件。
通过这个爬取网站，扫漏洞。郑州市IP最多，还挤占网站大量流量！
UA信息也是：
Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Mobile Safari/537.36
这个UA可以看出是伪造的三星盖世手机客户端浏览器，有些搜索引擎的爬虫也伪造这种型号，但是正规的搜索引擎基本都是有自己固定的格式。
恶意爬虫肯定无疑。检查发现基本上User-Agent都是一致的，所以在NGINX配置当中，可以设置频避这个UA即可。
站点管理，设置，配置文件当中可以禁用UA。
if ($http_user_agent ~ "SM-G900P|LRX21T")
{return 403;}
如果是虚机，或者无面板一件脚本搭建的环境，可以编辑根目录下的配置文件Nginx .conf:
if ($http_user_agent ~* "SM-G900P"){}
return 200 "Fu*ck U";
添加完成后，来自恶意爬虫的访问会被直接禁止。
宝塔如果有安装nginx防火墙，也可以在防火墙设置当中屏蔽:
nginx防火墙--全局配置--User-Agent过滤,添加UA的过滤。
^Mozilla\/5\.0.\(Linux\;.Android.5\.0\;.*Chrome.*Safari\/537\.36
上述操作仅屏蔽该恶意蜘蛛，搜索引擎正常蜘蛛不会被影响。
发表评论