robots.txt文件相关问题解析

spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。

本文链接：https://www.dnwfb.com/879.html，转载请注明出处。