什么是robots.txt?
作者：admin 时间:2020-01-01 阅读数：9人
通过robots.txt文件可以让搜索引擎蜘蛛尽量多的抓取网站有用的目录或文件，起到去其糟粕，取其精华的作用。（需要提醒各位站长注意的是，网站的目录或文件并不是被抓取得越多越好）。
一、robots介绍
搜索引擎机器人：搜索引擎爬行网页并抓取网页内容的工具
搜索引擎来网站抓取内容的时候，首先会访问你网站根目录下的一个文本文件robots.txt，搜索引擎机器人通过robots.txt里的说明，来理解该网站是否可以全部抓取，或只允许部分抓取。
相关文章：robots是什么？robots文件有什么作用？
声明
源码下载不顺利，比如源码在百度网盘的有时会被无故取消等，请联系QQ：46667551
本站大部分下载资源收集于网络，但除特别说明之外，基本全部亲自测试可用！
但由于某些源码的更新迭代,比如微信小程序官方接口的变动等原因,
如时间过长,可能会造成本可以使用的代码出现问题,下载前请斟酌!
本站资源仅供学习和交流使用，版权归原作者所有，请在下载后24小时之内自觉删除。
若作商业用途，请购买正版，由于未及时购买和付费发生的侵权行为，使用者自行承担，概与本站无关。
原文链接：https://www.dnwfb.com//738.html，转载请注明出处
上一篇:什么是友情链接 （互惠链接）
