通过伪静态限制垃圾爬虫访问的规则

robots是防君子不防小人的，可以用上，但不指望

以前小编说过一次通过IP限制的方法，但IP多了简直无语

今天说的这个方法还是不错的，直接通过agent限制

直接在location / {}里填加，比如YandexBot有的就限制

if ($http_user_agent ~ "JiKeSpider|YandexBot|SemrushBot|bingbot|Bytespider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadW
ebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bo
t|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Ezooms|Amazonbot|^$" ) {
return 404;
}

本文链接：https://www.dnwfb.com/5894.html，转载请注明出处。