ImagesiftBot 是一个网络爬虫,主要用于在互联网上抓取公开可用的图像,以支持 Imagesift 的网络智能产品套件, 其实就是大量抓取网络各种图片充实它家的资源库,训练AI图片内容。
这个爬虫的请求会将用户代理设置为 Mozilla/5.0 (compatible; ImagesiftBot; +imagesift.com)。
ImagesiftBot 遵循 robots.txt 规则,如果 robots.txt 文件中有针对它的特定指令,它将遵守这些指令;如果没有针对 ImagesiftBot 的规则,但存在针对 Googlebot 的规则,ImagesiftBot 将遵循 Googlebot 的指令。
此外,ImagesiftBot 还支持 robots.txt 文件中的抓取延迟指令,这将影响它向网站发出请求的频率 。
ImagesiftBot 除了图像之外,还会保存页面上的主机 URL 和文本以及与图像关联的替代文本。这些信息被用于 Imagesift 的数据分析和索引构建,以支持其网络智能产品,例如反向图像搜索平台 。
如果你不希望自己的图片被 ImagesiftBot 抓取,可以考虑通过 robots.txt 文件对它进行屏蔽。
ImagesiftBot可能会定期访问ImageSift网站,并收集图片的信息,例如标签、描述、上传者等,以便为用户提供更好的图片浏览和搜索体验。这样的网络爬虫程序有助于整理和组织网站上的海量图片内容,使用户更容易找到自己感兴趣的内容。
不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。
User-agent: ImagesiftBot
Disallow: /
有国外站长分析了蜘蛛IP段,也可以考虑屏蔽IP段。
199.184.214.0/24如果宝塔用户,直接在WAF防火墙里面可以禁止这个UA,无面板用户可以考虑编辑nginx配置文件禁止爬虫。
199.83.232.0/23
64.124.8.0/24
66.187.0.0/23
74.80.208.0/24
发表评论