华为云DNS使用"自定义线路"功能实现"搜索引擎回源"功能-华为云DNS使用自定义线路功能实现搜索引擎回源功能 华为云的DNS是目前国内免费DNS当中最强悍的了吧,分地区,分运营商线路,短TTL缓存刷新...这些功...

谷子猫博客

一个简单爱分享的小站!^_^!
首页>> 技术文档 >>华为云DNS使用"自定义线路"功能实现"搜索引擎回源"功能

华为云DNS使用"自定义线路"功能实现"搜索引擎回源"功能


华为云的DNS是目前国内免费DNS当中最强悍的了吧,分地区,分运营商线路,短TTL缓存刷新...这些功能在其它DNS上基本都是收费功能。


唯一美中不足的应该就是没有设置"搜索引擎回源"这个功能了吧,其实普通站点或者APP使用的时候这个作用也不大,只是部分运维担心使用CDN后,因为CDN不稳会导致搜索引擎抓取失败。


还好华为云还支持“自定义线路”功能,通过自定义线路,能够将制定来源的IP解析到制定IP,也就是可以添加一个线路,将来自搜索引擎的解析指向到需要的IP。

登录华为云HUAWEICLOUD的DNS,添加自定义线路解析,华为云支持添加50个自定义线路,每个线路支持填写50组IP地址。这个额度应该能把所有的搜索引擎蜘蛛写入..但是存在一个问题,像百度一直不曾正式公布他的蜘蛛池,还有一些搜索引擎的蜘蛛忽然会有一些奇怪的IP。

为了省事,我是用宝塔+nslookup看到的主要IP来源,比较精简。当然你有精力可以把相对完善的蜘蛛也写入进去[ip138公布的IP地址( https://tool.ip138.com/spider/ )],谷子觉得是没必要的,常用的蜘蛛就那几个。。
宝塔查看蜘蛛IP

登录华为云DNS,找到自定义线路,点“添加自定义线路”新建一条自定义。
华为云自定义线路

IP地址可以填写50条,可以把蜘蛛的IP段复制进去:

百度蜘蛛
220.181.108.1-220.181.108.254
116.179.32.1-116.179.32.254
116.179.37.1-116.179.37.254
123.125.71.1-123.125.71.254

Sogou
123.126.50.1-123.126.50.254
61.135.159.1-61.135.159.254
123.126.68.1-123.126.68.254
123.183.224.1-123.183.224.254
111.202.101.1-111.202.101.254
49.7.21.1-49.7.21.254


360/SOU
42.236.12.1-42.236.12.254
42.236.17.1-42.236.17.254
42.236.101.1-42.236.101.254

SM/神马
39.173.105.1-39.173.105.254
39.173.107.1-39.173.107.254
60.188.9.1-60.188.9.254
112.13.112.1-112.13.112.254
60.188.10.1-60.188.10.254
101.67.49.1-101.67.49.254

Toutiao/头条
111.225.148.1-111.225.148.254
110.249.202.1-110.249.202.254

Bing/必应
40.77.167.1-40.77.167.254
52.167.144.1-52.167.144.254
157.55.39.1-157.55.39.254
207.46.13.1-207.46.13.254

Google/谷歌
66.249.72.1-66.249.72.254
66.249.69.1-66.249.69.254
66.249.77.1-66.249.77.254
66.249.65.1-66.249.65.254


复制IP段即可,去掉汉字注释。


保存后回到DNS设置界面,就可以使用“自定义线路”的解析了,此时满足蜘蛛条件的IP会指向到指定的IP。比如针对蜘蛛优化的IP,或者服务器源IP(谷子是因为经常切换不同CDN的IP,而百度家的蜘蛛常年不更新解析)。
不在自定义范围的IP,则会走DNS正常的其它解析,所以不担心蜘蛛抓取不到。
华为云DNS使用"自定义线路"功能实现"搜索引擎回源"功能

虽然应该有老哥很早就在自用,但是这篇是谷子应该是首发,如需转载请注明。

宝塔搜索引擎IP白名单

此处内容已隐藏,评论后刷新即可查看!


×

感谢您的支持,我们会一直保持!

扫码支持
请土豪扫码随意打赏

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

打赏作者
版权所有,转载注意明处:谷子博客 » 华为云DNS使用"自定义线路"功能实现"搜索引擎回源"功能
标签: dns seo教程 seo 网络 网页 更新 cdn

发表评论

路人甲

网友评论(12)

过来看下隐藏的是什么内容
王军 2个月前 (2024-05-23) 回复
@王军:因为发现ip38的蜘蛛IP貌似误差很大,就没更新了。还是用上面那个吧,
谷子 2个月前 (2024-05-23) 回复
@谷子:一行就是一个IP段,意思是可以写50个行对吗?
试了一下,IP段可以写,但有些蜘蛛的IP段只有单个蜘蛛,其他的不是,然后我尝试写IP而不写IP段,结果华为云提示错误。
QQ账号错误 2个月前 (2024-05-24) 回复
@QQ账号错误:可以添加50个IP段,然后可以添加50条自定义规则。单IP也可以直接写192.168.1.1-192.168.1.1。
谷子 2个月前 (2024-05-24)
@谷子:一行一个IP段,写50行,但不对,我看了华为云输入框旁边的感叹号里面的介绍,好像是最新的提示,那写了可以输入1000个IP地址范围,现在改版了?可以写1000行了吗,1000个IP段。
QQ账号错误 2个月前 (2024-05-25) 回复
@谷子:以前用dnspod感觉搜索引擎路线不太准,也没有别的替代,现在发现华为云可以自定义路线,挺不错的,现在把域名都接入华为云了,看那个提示可以设置1000个IP地址范围,大概可能也许是1000行吧,不太懂这个,1000行就是1000个IP段了,那挺多的了,几个主流搜索引擎的ip段都差不多可以写完。
QQ账号错误 2个月前 (2024-05-25) 回复
@QQ账号错误:华为云DNS的IP库差点,对境外IP的识别差点。dnspod和阿里云dns的IP库准一些,但是搜索引擎线路只做了百度和谷歌。
谷子 2个月前 (2024-05-25)
@谷子:我之前用的是dnspod,我只解析了中国路线和搜索引擎,但前几天猛增了200多个不知名的美国IP,服务器差点被爬崩溃,查了一下不是谷歌或者知名的爬虫,我感觉dnspod不怎么准确吧。
QQ账号错误 2个月前 (2024-05-25) 回复
@谷子:发现一个奇怪的事,设置完必应的自定义路线后,蜘蛛不来了,我的必应IP段比你上面公布的还齐全,但不来蜘蛛了,我把国际路线关了,保留自定义路线的谷歌和必应,但最后只来谷歌,必应不来了,奇怪。
QQ账号错误 2个月前 (2024-05-28) 回复
@谷子:我以为是IP库不全,经过几次开放国际路线的解析,并测试必应站长平台的抓取功能,一次会来3个IP来抓取,这些抓取的IP都在我的自定义路线的IP段里,说明没设置错,但只要关闭国际路线(默认路线)就不会来抓取。不知道华为云是怎么回事。
QQ账号错误 2个月前 (2024-05-28) 回复
@QQ账号错误:多放两天看看,是不是华为云DNS没刷新。很多用户把TTL设置成1,很浪费资源。
谷子 2个月前 (2024-05-29)
@谷子:应该不是dns缓存没刷新的问题,国际路线只要一暂停,蜘蛛立刻停止,一开启必应蜘蛛就立刻来,来的IP段还都是我设置好的自定义路线里面的必应IP段,你说奇怪不。
QQ账号错误 2个月前 (2024-05-29) 回复