谷子猫博客

之前已经发现现在互联网流量很多来源于互联网大厂的蜘蛛爬虫。

通过爬虫机器人采集互联网内容。遗憾的是大厂的爬虫通常不会带来有效流量,它们采集到内容，图片资源后，有的训练自家的AI，有的把内容整理后自己再展出，与搜索引擎不同，它们不会保留引导到其它站点的连接。除了取走内容，它们一些爬虫的光顾程度还很高，占用服务器资源。

随着AI的发展，联网的BOT蜘蛛越来越多，可以在后台将bot封禁掉。

以宝塔面板为例，在 网站-设置-配置文件 当中，能够修改nginx配置文件，Nginx读取到UA如果是特定蜘蛛，会返回错误提示：

如：

if ($http_user_agent ~ “hubspot|CCBot|VelenPublicWebCrawler|Konturbot|my-tiny-bot|eiki|webmeup|ExtLinksBot|Go-http-client|Python|ZoominfoBot|MegaIndex.ru|GPTBot|MauiBot|Amazonbot|ds-robot|intelx.io|coccocbot|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Applebot|Java|Barkrowler|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|DuckDuckGo|ClaudeBot|coccocbot|ZmEu|oBot|GPTBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|MJ12bot|DotBot|heritrix|Html5plus|BLEXBot|serpstatbot|Ezooms|JikeSpider|Barkrowler|InfoTigerBot|SemrushBot|DuckDuckGo-Favicons-Bot|ImagesiftBot|^$” ) {
return 403;
}

if ($http_user_agent ~ “hubspot|rwth-aachen.de|^$” ) {

return 403;

}

if ($http_user_agent ~ “Phpzhanqun|HostHarvest|python-requests|^$” ) {

return 403;

}