首先我们来了解下什么是robots文件。一般来说网站总会有一些对排名帮助不大或者不利于排名的内容，这时候我们就可以用到robots文件。它可以向搜索引擎反映哪些页面是我们不想被收录的内容。搜索引擎会优先访问网站的robots文件，再根据robots文件里的配置规则不再去收录那些想屏蔽的页面。
一、robots文件的存放位置
一般robots文件直接存放在网站ftp后台的根目录，我们可以理解成跟首页是同一个页面。这个位置安排是因为，我们刚才说了，搜索引擎会优先访问网站的robots文件，所以安排在首页有利于蜘蛛快速爬行到此文件，从而避免过多不必要的操作。
二、为什么robots文件需要检查
一般而言，整个网站无法收录或者某个目录下的页面不能收录都是因为robots文件出现差错导致。robots文件中的任何字符一旦出错都会造成致命影响，相关负责人应该重点检查robots文件，确保每一行代码正确，避免本需要收录的页面被禁止收录的情况出现。
推荐阅读：