关于wget命令的用法,Wget添加UA模式下载-很多人用linux差不都会用wget来下载一些文件来配置或者安装软件,当然也有人会用它来下载的你的网站内容,下面介绍一下如何配置Nginx实现防止别人通过wget下载你的网站内容...

谷子猫博客

猫眼看世界^_^!
首页>> 技术文档 >>关于wget命令的用法,Wget添加UA模式下载
2021-12-24
分类: 技术文档

关于wget命令的用法,Wget添加UA模式下载

文章作者:谷子猫
手机扫码查看

很多人用linux差不都会用wget来下载一些文件来配置或者安装软件,当然也有人会用它来下载的你的网站内容,下面介绍一下如何配置Nginx实现防止别人通过wget下载你的网站内容,如何破解因为N......

很多人用linux差不都会用wget来下载一些文件来配置或者安装软件,当然也有人会用它来下载的你的网站内容,下面介绍一下如何配置Nginx实现防止别人通过wget下载你的网站内容,如何破解因为Nginx或Apache设置禁止wget或curl。


假设Nginx默认配置文件所在目录:/usr/local/nginx/conf/vhost wget的默认User Agent是GNU/Linux,wget,因此我们只需要阻止该UA的访问并返回403即可。
Nginx配置如下:


if ($http_user_agent ~* (Wget|ab) ) {
   return 403;
}
 
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
            return 403;
}

那么有的网站设置了不允许你用Wget下载,要如何才能下载下来呢?

很显然,其实大部分只是禁止了wget/curl的User Agent,我们只需要给他们设置一个正常的浏览器UA即可。
WGET命令
临时变更wget的UA
在wget前加上参数 -U,代表设置User Aagent


wget www.google.com -U ‘Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101


永久变更Wget的UA
添加以下代码到/etc/wgetrc
header = User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0

变更curl的UA

使用以下参数:


curl www.google.com --user-agent "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"
同时,curl也可以传递refer信息来跳过某些防盗链设置:


curl -e http://www.google.com http://www.xgiu.com


Ok,就这样···













×

感谢您的支持,我们会一直保持!

扫码支持
请土豪扫码随意打赏

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

打赏作者
版权所有,转载注意明处:谷子猫的博客 » 关于wget命令的用法,Wget添加UA模式下载
标签: 网络 维护 代码 网页 技术 技巧 上网

发表评论

路人甲

网友评论(0)