在使用robots.txt文件最牛逼当是淘宝网了，虽然使用了这个文件避免搜索引擎去收录网站，但是蜘蛛还是去爬行进行当天的展示结果。
从中不难看出，如果一个网站有足够的权威，其实并不妨碍这个网站有非常好的排名的。
当搜索引擎爬行动物光临你的网站的时候，首先要发生robots.txt文件有没有更新，先会了解这个文件新动向之后，才会进一步在站内网页之间爬行，从而实现网页被收录的目标。
在做SEO过程中，哪里文件可以对搜索引擎开放，哪些文件只能永远保持沉默。
主要是为了安全的原因。
当你的网站后台被搜索引擎抓取了，而且有了收录。当有人使用搜索引擎命令site时，可以找到你网站源码的文件，其实这是一个安全隐患。
黑客只需要使用一些检测软件就可以发网站的漏洞，获得更多网站内部数据时，当一旦发起黑客攻击，站长是很难及时应对的。
许多个人网站没有专业的技术团队，网站一旦受到攻击多半就会关闭，自然会影响用户体验和搜索引擎信任度。
做网站应该把网站安全放在第一位，不要因为网站的因素，让网站失去了比较高的评价。
一般来说，受到黑客攻击多半在网站有一定的规模之后，对别人有可利之图才会发生。
为了上述的原因，可以robots.txt文件中把主要的网站源码文件进行屏蔽，避免网站重要的数据外泄，为网站增加不必要的安全隐患。
