深度解析百度搜索引擎蜘蛛各IP段的作用和功能-深度解析百度搜索引擎蜘蛛各IP段的作用和功能 百度蜘蛛,全称应该为“百度搜索引擎蜘蛛”,英文为“Baidu Spider”,是百度搜索引擎系统中的一个自动程序,主要负责访问并收集...

谷子猫博客

一个简单爱分享的小站!^_^!
首页>> 网文转载 >>深度解析百度搜索引擎蜘蛛各IP段的作用和功能

深度解析百度搜索引擎蜘蛛各IP段的作用和功能
百度蜘蛛,全称应该为“百度搜索引擎蜘蛛”,英文为“Baidu Spider”,是百度搜索引擎系统中的一个自动程序,主要负责访问并收集互联网上的页面。

写在前面:蜘蛛是否积极抓取网站,与网站的内容和更新有很大关系。再说单纯的知晓百度蜘蛛是否爬过也只能判断出是否被搜索引擎关注过,百度自己也否认有权重之类的说法,所以还是完善内容,提升稳定和速度更值得花力气。谷子转载这个的原因是一度被攻击的时候,考虑设置单独的解析以免收录被攻击连累。谷子偶尔查看后台,发现基本是山西一个联通的蜘蛛群和北京电信的蜘蛛群为主,其它的很少见。所以如果想单独照顾蜘蛛,建议放行上述两地的IP,或者使用DNSPOD这样有针对搜索引擎优化的DNS来做解析。

很多时候我们只知道有百度蜘蛛来爬取网站,其实很多人都不知道这里面有“惊天秘密”,从百度蜘蛛IP段就知道你的网站质量如何,到底有没有什么问题,就可以通过各IP段的百度蜘蛛得知。因为每个蜘蛛功能不同,根据蜘蛛功能属性去判断你网站到底出了什么问题,如果这一点搞不定的话,网站日志看了也白看!
深度解析百度搜索引擎蜘蛛各IP段的作用和功能


百度蜘蛛各IP段的作用功能:

121.14.89.*:此ip段为新站考察蜘蛛,通常有它光顾的时候,网站基本上是没有排名的。
123.125.66.*:代表百度蜘蛛IP拜访,预备抓取你工具。
123.125.68.*:这个蜘蛛每天都来,另外其它的来的少,示意网站大概要进入沙盒了,或被者降权。
123.125.71.*,此ip段为低权重蜘蛛,可作为收录判定。
123.125.71.*:抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是首创或收罗文章。 
125.90.88.*:广东茂名市电信也属于百度蜘蛛IP重要形成身分,是新上线站较多,另有运用过站长工具,或SEO综合检测形成的。
203.208.60.*:此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取。
210.72.225.*,此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
220.181.68.*:每天这个IP段只增不减很有大概进沙盒或K站。
220.181.7.*:代表百度蜘蛛IP拜访,预备抓取你工具。
220.181.108.*,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
220.181.108.95:这个是百度抓取首页的公用IP,如是220.181.108段的话,根本来说你的网站会每天隔夜快照 
220.181.108.92:同上98%抓取首页,大概还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页24小时放出来。
220.181.108.91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页24小时放出来。
220.181.108.75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页24小时放出来。
113.24.225.*;113.24.224.*:这个IP抓取过的页面权重都比较高基本上都会有排名,但是这个IP段的蜘蛛很少


内容未更新权重蜘蛛
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
220.181.108.83



准备抓取网页的百度蜘蛛

60.172.229.61
61.129.45.72
61.135.162.*


百度竞价蜘蛛

61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.91
25.39.78.185




百度统计爬虫
61.135.186.* 

站长工具模仿的百度蜘蛛
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站长工具箱(这个是你的网站不稳定时常来的)
119.147.114.213
121.10.141.*

百度图片爬虫
123.15.**.** 




百度蜘蛛优质IP段

116.179.32.*
这是新版百度蜘蛛的高权重段,一般抓取文章页。位于山西阳泉联通。由于百度云计算阳泉中心位于世界最大中文搜索引擎百度公司创始人李彦宏的家乡山西省阳泉经济开发区东区,因此该段IP的权重较高。

220.181.108.*
这是百度蜘蛛的主要IP段之一,主要抓取首页占80%和内页占30%。爬过该段的文章或首页,绝对24小时内放出来和隔夜快照的。成功抓取返回代码一般为200 0 0,而返回304 0 0代表网站未更新,蜘蛛已经来过。

220.181.108.75
这是一个重点抓取更新文章内页的IP段,爬过的文章或首页基本24小时放出来。

220.181.108.77、80、82、83、86、89、91、92、93、94、95、97、115、119、156、158、180、184
这些是百度蜘蛛专用的IP段,具有不同的功能,如抓取首页、内页、tag页面等等,并且权重较高。爬过该段的文章或首页基本24小时内放出来。


百度蜘蛛普通IP段

60.172.229.61、61.129.45.72、61.135.162.*
这些是百度蜘蛛常见的IP段之一,主要抓取网页。

123.15..
这是百度图片爬虫的IP段。

123.125.66.*
这是另一个常见的百度蜘蛛IP段,主要抓取网页。

210.72.225.*
这个IP段的蜘蛛注重巡逻各站,只是路过一下,没有实际的爬取行为。

垃圾IP段
61.135.169.*
这是百度公司内部专用的IP段,不会进行任何的网站抓取行为。

111.206.198.、111.206.221.
这是百度渲染蜘蛛的IP段,专门抓取js、css和图片。此外,111.206.198.*也是百度站长工具落地着陆页检测的IP。

其他
还有一些IP段是被用于百度联盟、百度竞价等其他服务的,例如61.135.186.*用于百度联盟爬虫,61.135.165.134用于百度竞价蜘蛛等等。这些IP段不会进行网站抓取行为,因此被归类为垃圾段。

今天发现了百度111.29.108.*段的蜘蛛,不知道是什么段位的;
6月25日发现36.133.40.*段的蜘蛛,未知段位。
124.166.232.* 已经nslookup确认是百度蜘蛛

以上百度蜘蛛IP为日常收集整理的,不是很全,功能点为经验总结,仅供参考,你可以根据自己网站的蜘蛛爬取记录自行查询







×

感谢您的支持,我们会一直保持!

扫码支持
请土豪扫码随意打赏

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

打赏作者
版权所有,转载注意明处:谷子博客 » 深度解析百度搜索引擎蜘蛛各IP段的作用和功能
标签: seo 转载 广告 百度

发表评论

路人甲

网友评论(0)