robots文件是一个重要的文件，如果写不好，可能会影响到网站的收录量。因为当蜘蛛作为一个普通的浏览者光临网站时，第一个就看查看robots文件。
搜索引擎为何会这样做呢？
主要为了友好，蜘蛛不请自来，总得关注一下网站的意见吧。如果站长做好robots文件，这是一个相互默契的表现。
因此每个网站都应该写好robots文件。否则在服务器上记录404错误。
robots文件是一个纯文件文件，脚本为.txt。可以使用电脑记事本就可做。
robots文件写法：
1、User-agent
该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*，则该协议对任何机器人均有效。
2、Disallow:
该项的值用于描述不希望被访问到的一个URL，一个目录或者整个网站。以Disallow 开头的URL 均不会被搜索引擎蜘蛛访问到。任何一条Disallow 记录为空，说明该网站的所有部分都允许被访问。
例子说明：
1、网站目录下所有文件均能被所有搜索引擎蜘蛛访问：
User-agent: *
Disallow:
2、禁止所有搜索引擎蜘蛛访问网站的任何部分
User-agent: *
Disallow: /
3、禁止所有的搜索引擎蜘蛛访问网站的几个目录
User-agent: *
Disallow: /a/
Disallow: /b/
4、只允许某个搜索引擎蜘蛛访问
User-agent: baiduspider
Disallow:
