帝国程序里的robots.txt到底有什么作用？

　　一般从帝国官方网站新下载下来的程序里不管是GBK还是UTF，在网站程序根目录里都有一个robots.txt文件!

　　对于老站长来说可能明白它的作用，但对一些新手来说却有点不明所以!甚至有的新手站长还会把这个文件删除，在这里小编提醒新手站长，这个文件最好不要删除，作用很大滴!

　　首先，这个文件Robots.txt 是网站和搜引擎之间的一个协议。用来防止搜索引擎抓取那些我们不想被索引到的页面或内容。早期是为了防止搜索引擎抓取网站的一些隐私页面，不想公开展示的页面，Robots 的作用已经不在局限于网页的隐私了，如今已经是作为学习 SEO 的一个最基础的范畴，能够有效提高网站的健康度、纯净度，降低网站垃圾内容收录.

　　而且网站地图地址也可以添加到Robots里面，所以关于Robots来说，最重要的作用就是SEO，是与各大搜索之间建立的一种协议，商量好哪些该收录，哪些不该收录!

　　关于Robots的写法，百度一下就会有很多，这里就不一一重复去写了!

　　而且还有很多Robots生成器，可以事先设置好参数后一键生成，简单方便!

本文链接：https://www.dnwfb.com/245.html，转载请注明出处。