华为云DNS使用"自定义线路"功能实现"搜索引擎回源"功能
华为云的DNS是目前国内免费DNS当中最强悍的了吧,分地区,分运营商线路,短TTL缓存刷新...这些功能在其它DNS上基本都是收费功能。
唯一美中不足的应该就是没有设置"搜索引擎回源"这个功能了吧,其实普通站点或者APP使用的时候这个作用也不大,只是部分运维担心使用CDN后,因为CDN不稳会导致搜索引擎抓取失败。
还好华为云还支持“自定义线路”功能,通过自定义线路,能够将制定来源的IP解析到制定IP,也就是可以添加一个线路,将来自搜索引擎的解析指向到需要的IP。
登录华为云HUAWEICLOUD的DNS,添加自定义线路解析,华为云支持添加50个自定义线路,每个线路支持填写50组IP地址。这个额度应该能把所有的搜索引擎蜘蛛写入..但是存在一个问题,像百度一直不曾正式公布他的蜘蛛池,还有一些搜索引擎的蜘蛛忽然会有一些奇怪的IP。
为了省事,我是用宝塔+nslookup看到的主要IP来源,比较精简。当然你有精力可以把相对完善的蜘蛛也写入进去[ip138公布的IP地址( https://tool.ip138.com/spider/ )],谷子觉得是没必要的,常用的蜘蛛就那几个。。
登录华为云DNS,找到自定义线路,点“添加自定义线路”新建一条自定义。
IP地址可以填写50条,可以把蜘蛛的IP段复制进去:
百度蜘蛛
220.181.108.1-220.181.108.254
116.179.32.1-116.179.32.254
116.179.37.1-116.179.37.254
123.125.71.1-123.125.71.254
Sogou
123.126.50.1-123.126.50.254
61.135.159.1-61.135.159.254
123.126.68.1-123.126.68.254
123.183.224.1-123.183.224.254
111.202.101.1-111.202.101.254
49.7.21.1-49.7.21.254
360/SOU
42.236.12.1-42.236.12.254
42.236.17.1-42.236.17.254
42.236.101.1-42.236.101.254
SM/神马
39.173.105.1-39.173.105.254
39.173.107.1-39.173.107.254
60.188.9.1-60.188.9.254
112.13.112.1-112.13.112.254
60.188.10.1-60.188.10.254
101.67.49.1-101.67.49.254
Toutiao/头条
111.225.148.1-111.225.148.254
110.249.202.1-110.249.202.254
Bing/必应
40.77.167.1-40.77.167.254
52.167.144.1-52.167.144.254
157.55.39.1-157.55.39.254
207.46.13.1-207.46.13.254
Google/谷歌
66.249.72.1-66.249.72.254
66.249.69.1-66.249.69.254
66.249.77.1-66.249.77.254
66.249.65.1-66.249.65.254
复制IP段即可,去掉汉字注释。
保存后回到DNS设置界面,就可以使用“自定义线路”的解析了,此时满足蜘蛛条件的IP会指向到指定的IP。比如针对蜘蛛优化的IP,或者服务器源IP(谷子是因为经常切换不同CDN的IP,而百度家的蜘蛛常年不更新解析)。
不在自定义范围的IP,则会走DNS正常的其它解析,所以不担心蜘蛛抓取不到。
虽然应该有老哥很早就在自用,但是这篇是谷子应该是首发,如需转载请注明。
宝塔搜索引擎IP白名单
发表评论