通过伪静态限制垃圾爬虫访问的规则
作者：admin 时间:2023-09-23 阅读数：230人
robots是防君子不防小人的，可以用上，但不指望
以前小编说过一次通过IP限制的方法，但IP多了简直无语
今天说的这个方法还是不错的，直接通过agent限制
直接在location / {}里填加，比如YandexBot有的就限制
if ($http_user_agent ~ "JiKeSpider|YandexBot|SemrushBot|bingbot|Bytespider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadW
ebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bo
t|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Ezooms|Amazonbot|^$" ) {
return 404;
}声明
源码下载不顺利，比如源码在百度网盘的有时会被无故取消等，请联系QQ：46667551
本站大部分下载资源收集于网络，但除特别说明之外，基本全部亲自测试可用！
但由于某些源码的更新迭代,比如微信小程序官方接口的变动等原因,
如时间过长,可能会造成本可以使用的代码出现问题,下载前请斟酌!
本站资源仅供学习和交流使用，版权归原作者所有，请在下载后24小时之内自觉删除。
若作商业用途，请购买正版，由于未及时购买和付费发生的侵权行为，使用者自行承担，概与本站无关。
原文链接：http://www.dnwfb.com//5894.html，转载请注明出处
