• 微信
您当前的位置:首页  > 文章 >  通过伪静态限制垃圾爬虫访问的规则

通过伪静态限制垃圾爬虫访问的规则

作者:admin 时间:2023-09-23 阅读数:248人

robots是防君子不防小人的,可以用上,但不指望

以前小编说过一次通过IP限制的方法,但IP多了简直无语

今天说的这个方法还是不错的,直接通过agent限制

直接在location / {}里填加,比如YandexBot有的就限制

if ($http_user_agent ~ "JiKeSpider|YandexBot|SemrushBot|bingbot|Bytespider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadW
ebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bo
t|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Ezooms|Amazonbot|^$" ) {
return 404;
}

声明

源码下载不顺利,比如源码在百度网盘的有时会被无故取消等,请联系QQ:46667551
本站大部分下载资源收集于网络,但除特别说明之外,基本全部亲自测试可用!
但由于某些源码的更新迭代,比如微信小程序官方接口的变动等原因,
如时间过长,可能会造成本可以使用的代码出现问题,下载前请斟酌!
本站资源仅供学习和交流使用,版权归原作者所有,请在下载后24小时之内自觉删除。
若作商业用途,请购买正版,由于未及时购买和付费发生的侵权行为,使用者自行承担,概与本站无关。

原文链接:https://www.dnwfb.com//5894.html,转载请注明出处