谷子猫博客

网站屏蔽恶意爬虫User-Agent方法/屏蔽爬虫AI采集UA列表 新搭建的环境，刚转移过来，就发现大量的爬虫，采集程序过来了。 在之前谷子也在环境做过屏蔽，不过时间久了，都忘记还要弄，再加上有些新的蜘蛛爬虫开始泛滥，所以重新总结一下。 主要还是两种方式，一个修改Nginx配置文件直接拒绝访问，一个通过宝塔防火墙。 ......

2024-8-21阅读（436）评论(0)

关于访问者IP送中的影响和解决办法/谷歌识别访问IP为中国 送中：即IP被Google标记成为中国IP。 如图：谷歌搜索，来自Racknerd的圣何塞主机被标记为“中国”。  为了免youtube的自带广告，部分人甚至发动其他人一起开启定位刷新浏览。而那些大企业判断IP后都是整个C段做标记的。一个IP被多......

2024-8-2阅读（449）评论(0)

网上查的信息乱七八糟，有人说这两个IP段并非蜘蛛，但是nslook查询是属于百度的爬虫IP段。 这两个IP段出现的较少，根据实际测试发现。 36.110.199.*   百度站长工具抓取xml地图，使用是本IP段。 111.206.198.*   百度渲染蜘蛛使用本IP段，111.206.221.* 往往跟......

2024-7-12阅读（317）评论(0)

前几天发现老程序被入侵然后设置了跳转。 今天在百度检查发现已经被提示不安全了。 点开后不是直达网址，变成了一个提示页。 虽然保留了 继续访问，又在边上大大的三个字“不推荐”。 提醒您： 该页面可能存在违法信息！ 查看详情 您正在访问：http://www.xgiu.co......

2024-6-19阅读（733）评论(0)

小测阿里云云解析搜索引擎解析功能/阿里云DNS设置搜索引擎回源线路 前几天测试了一下DNSPOD的搜索引擎线路设置，感觉还是缺点意思，表现在搜索引擎回源只解析了百度和谷歌的蜘蛛来源。 PS：测试dnspod搜索引擎回源线路对搜狗bing等回源是否有效 在试过dnspod效果不太明显后，接着又试了下阿里云DNS的搜索引擎回源......

2024-5-20阅读（390）评论(0)

dnspod的搜索引擎优化线路有用吗?dnspod搜索线路小测 在使用华为云DNS解析的时候，一直因为华为云DNS没有搜索引擎优化线路而苦恼。后续终于想到了办法，就是单独做一条线路解析。 但是可能因为华为云的用户应该不少，所以动了念头测试一下智能DNS的“搜索引擎”解析功能。 目前使用的是DNSPOD的免费版，不知道专业版有......

2024-5-13阅读（521）评论(0)

js96110.com是江苏反诈公益宣传”网页，近期有朋友反映网站莫名跳到js96110com江苏反诈公益宣传”网页上，那么这是什么情况？如何解决呢？ 网站莫名跳到js96110com是什么情况 网站跳到js96110com江苏反诈公益宣传”网页上说明网站有一些关键词被检测违规，在江苏地区已经被劫持了。 js96110.......

2024-5-8阅读（2136）评论(0)

屏蔽阿里云爬虫IP/添加ip黑名单 最近很多站长发现，大量来自阿里云家的IP爬取自己站内文章。 这种爬虫只能在日志当中查询到爬取的记录，不能确定爬取文章到底是为了采集，还是抓数据训练AI，或者安全监控，漏洞扫描。。 不过不管是啥用途，这种类型的爬虫对于站长来说，除了增加网站负载没啥好处。 有老哥已经收集了一些来自阿......

2024-4-6阅读（537）评论(0)