Robots文件看起来很简单，只有几行字符，但是作为搜索引擎进入我们站点后第一个访问的对象，其扮演的角色确是至关重要的。这几行字符中蕴含着很多的小细节。如果我们忽视这些小细节的话，robots文件不仅不能成为站点发展的踏脚石，更将可能成为影响站点发展的绊脚石，可以不客气的说一着不慎，经可能满盘皆输。下面笔者将在下文中根据三个案例分析我们写robots时因为不注重细节而引发的不可承受的“痛”。
问题一：语句的先后顺序颠倒
我们先来分析一段虽然很简单，但是被广泛应用的语句：
User-agent: *
Allow: /
Disallow: /1234/
从这三段robots语句中我们不能看出这原本的书写目的是要让搜索引擎不要爬行1234目录下面的页面，而其他的页面则没有限制。而事实上这段语句的执行效果与我们的目的是背道而驰的，为什么呢?分析后你会发现搜索引擎蜘蛛对于robots文件的读取顺序是从上到下的，如果你这么写的话这将会造成屏蔽语句失去原有的效力，修改的方法是将两者乾坤大挪移，将Disallow: /1234/与Allow: /位置对调就能实现我么想要的效果
问题二：屏蔽站点的某一个页面时，漏掉斜杠“/”
我们也经常使用robots屏蔽某一个敏感的不想搜索引擎爬行的页面，而在这条语句上我们也有很多细节想要注意，举个例子，假如加入我们想要屏蔽为于根目录下的登陆页面login.asp这一页面，有的站长可能会这么写：Disallow: login.asp，这乍一看没什么问题，但是笔者想要问一下你想要屏蔽的这个页面是位于什么目录的?是根目录或者是一级二级目录的?如果我们忽略前面的斜杠，搜索引擎蜘蛛无法知道该页面在哪里。修改的方法是：Disallow: /login.asp，这样才能真正的屏蔽位于根目录下面的login.asp这一登陆页面。
问题三：屏蔽站点的整个目录后，漏掉斜杠“/”
评论