2.8.1 robots介绍

蜘蛛在访问一个网站时，它会首先检查该网站根目录下是否存在robots.txt文件，如果存在，蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么蜘蛛默认所有文件都可以抓取。

robots.txt必须放置在一个网站的根目录下，而且文件名必须全部小写，如https://www.liehe.com/robots.txt。

只有在需要禁止抓取某些内容时，写robots.txt才有意义。有的服务器设置有问题，当robots文件不存在时会返回状态码200及一些错误信息，而不是状态码404，这有可能是蜘蛛错误解读了robots文件信息。所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件。