相信大家对于QQ空间robot文件的印象都是停留在其屏蔽了百度搜索，百度无法抓取QQ空间的内容。而最近有一篇文章《分析QQ空间能否做百度关键词排名？》，文章说目前QQ空间上的内容也可以被索引抓取，原因是腾讯QQ空间已经解除了对于搜素引擎的robot屏蔽，这篇文章改变了笔者对于QQ空间Robot文件的看法。笔者对此产生兴趣，于是对QQ空间的robot进行了观察，发现了QQ空间robot设置的一些小细节，如下图所示。
在上图我们确实可以看到目前QQ空间已经解除了对于搜索引擎的屏蔽。目前所有的搜索引擎蜘蛛都可以对QQ空间进行爬行抓取。而在Robot文件的最后一行笔者发现了一个小细节，笔者发现多写了一行：sitemao：http://XXX.xml。很明显这是一个地图文件。那么为什么QQ空间为什么要在最后一行写上站点的网站地图呢?要知道原因首先我们需要对robot文件进行进一步的了解。
作为SEOer我们都应该很清楚robots文件的作用是告知搜索引擎蜘蛛我们站点上什么页面是可以爬行什么页面是禁止进入的。当搜索引擎蜘蛛进入我们的站点，了解到这些信息后，它就可以根据信息把精力集中于我们允许爬行的页面，提高页面的爬行效率。而在这一过程中我们是否忘记了关键的一点，那就是搜索引擎进入我们的站点第一个接触到的文件是什么?没错就是robot文件。对此我们可以在这一点上在我们的robot上做文章来让搜索引擎蜘蛛更加有效率的爬行我们的站点，提升站点的爬行率。
我们可以很确定的说QQ空间在robot文件的最后写上站点的地图文件就是为了提升搜索引擎对于站点的爬行率。当搜索引擎蜘蛛进入QQ空间后，首先寻找robot文件，当在robot文件上就可以直接找到站点的地图文件。从而促进蜘蛛通过地图文件对我们的站点进行更加深而广的爬行与索引。
对于这个小细节笔者一直都是处于忽视的状态，而作为QQ空间这种大型的站点都放过这种小细节，我们的站点更需要注意，往往这些小细节可以创造出大的文章。希望本文对于大家有所帮助。
本文由巨型一号丝瓜水官网http://www.siguashui.cc/ 原创，转载请保留出处。
评论