谷子猫博客

一个简单爱分享的小站!^_^!
首页>> 技术文档 >>ImagesiftBot这是什么蜘蛛/ImagesiftBot浏览UA是什么爬虫?
ImagesiftBot这是什么蜘蛛/ImagesiftBot浏览UA是什么爬虫?

ImagesiftBot 是一个网络爬虫,主要用于在互联网上抓取公开可用的图像,以支持 Imagesift 的网络智能产品套件, 其实就是大量抓取网络各种图片充实它家的资源库,训练AI图片内容。

ImagesiftBot这是什么蜘蛛/ImagesiftBot浏览UA是什么爬虫?

这个爬虫的请求会将用户代理设置为 Mozilla/5.0 (compatible; ImagesiftBot; +imagesift.com)。

ImagesiftBot 遵循 robots.txt 规则,如果 robots.txt 文件中有针对它的特定指令,它将遵守这些指令;如果没有针对 ImagesiftBot 的规则,但存在针对 Googlebot 的规则,ImagesiftBot 将遵循 Googlebot 的指令。
此外,ImagesiftBot 还支持 robots.txt 文件中的抓取延迟指令,这将影响它向网站发出请求的频率 。

ImagesiftBot 除了图像之外,还会保存页面上的主机 URL 和文本以及与图像关联的替代文本。这些信息被用于 Imagesift 的数据分析和索引构建,以支持其网络智能产品,例如反向图像搜索平台 。

如果你不希望自己的图片被 ImagesiftBot 抓取,可以考虑通过 robots.txt 文件对它进行屏蔽。

ImagesiftBot可能会定期访问ImageSift网站,并收集图片的信息,例如标签、描述、上传者等,以便为用户提供更好的图片浏览和搜索体验。这样的网络爬虫程序有助于整理和组织网站上的海量图片内容,使用户更容易找到自己感兴趣的内容。
不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。

User-agent: ImagesiftBot
Disallow: /

有国外站长分析了蜘蛛IP段,也可以考虑屏蔽IP段。

199.184.214.0/24
199.83.232.0/23
64.124.8.0/24
66.187.0.0/23
74.80.208.0/24
如果宝塔用户,直接在WAF防火墙里面可以禁止这个UA,无面板用户可以考虑编辑nginx配置文件禁止爬虫。




×

感谢您的支持,我们会一直保持!

扫码支持
请土豪扫码随意打赏

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

打赏作者
版权所有,转载注意明处:谷子博客 » ImagesiftBot这是什么蜘蛛/ImagesiftBot浏览UA是什么爬虫?
标签: 教程 浏览器 漏洞 网络 维护 代码 宝塔

发表评论

路人甲

网友评论(0)