每个人都有自己的隐私，网站也是这样，网站中也有不希望被蜘蛛看到的东西，比如会员密码等等，而想要遮挡住这部分隐私，一般情况下站长都会在第一时间想到Robots.txt。没错，Robots.txt文件的使用的确可以给蜘蛛指明道路，告诉它什么地方该去，什么地方不该去，也正是因为这点原因，很多站长都热衷于用Robots.txt，但是大家真的会用Robots.txt吗?对于它的编写规则大家又知道多少呢?本人不才，但对于这方面总归有点经验，在这分享出来，让大家有个参考，当然老鸟可以飞过了。
Robots.txt编写的顺序问题
举个最简单的例子，如果你想让自己a文件中的b.html被抓取，那么你怎么编写呢?是
Allow:/a/b.html Disallow:/a/ 还是Disallow:/a/ Allow:/a/b.html这样？
在Robots.txt编写规则中，它并不执行树状分析结构，换句话说编写时并不应该把母文件夹放在最前，而是遵循一种就近原则，如果我们把母文件夹放在前面，蜘蛛会认为这个途径被封闭了，不能访问，而我们最终的目的却是访问，这样一来，目标和实际就大相迳庭了。
评论