seo优化的技术好坏不仅仅在于内容和外链上，更重要的是一些细节上的处理，因为内容和外链相对来说需要掌握的要点不是很多，而且易于操作、容易理解;而网站优化的其他一些细节处理，相对来说平时接触的少，对于这些了解的也很少，真正要处理时却遇到很多问题，比如seo优化常规的404页面的制作，301重定向的处理，robots的一个创建等，对于网站来说都是不可或缺的一部分。
下面来说说robots，首先它是一个协议，对于网站的抓取取到重要作用，创建robots的意义在于它可以让蜘蛛听从命令服从安排，解决了网站的一些隐私和不必要抓取的页面，同时也可以强调某一部分必须抓取。robots看似一个非常简单的操作，但平时如果没有太注意或多操作，你写的robots未必就是正确的，因为里面涉及到一些指令，没有写对可能会影响网站的抓取。
百度站长平台推出了robots工具(http://zhanzhang.baidu.com/robots)，只要注册下，认证下网站就ok了，它可以很好的检验你的robots写的是否正确，该工具可以检测您的网站是否有robots.txt文件，及robots.txt文件内容,并能按照您的需求生成正确的robots.txt文件，为robots文件的制作起到了很大的帮助。
一、可以检测到网站是否有robots文件
通过网站验证后，你可以任意测试网站，看该是否有制作robots，如果有它会一一列出你网站设置的情况，比如什么文件有抓取，什么文件被屏蔽了，一目了然，并且提示是否有错误的地方;而没做robots协议的，他也会提示：“您的网站没有robots.txt文件，表示您允许搜索引擎可以抓取您网站全部的内容”。如图所示(chinaz的robots检测结果)：
二、可以检测到网站robots是否正确
评论