在08年闹得沸沸扬扬的关于淘宝使用robots协议屏蔽百度蜘蛛的事件，想必有经历过那个事件的人现在还记忆犹新，淘宝以有不良的商家会通过百度的进行竞价排名或者搜索引擎优化的方式来欺骗消费着的原因，无情的拒绝了百度的搜索引擎，而通过的方法就是使用robots协议屏蔽百度。如下图所示。
我们可以看到，淘宝已经在robots中拒绝了百度蜘蛛对整个站点的索引与收录。事件已经过去四年左右了，那结果真的就是百度无法抓取淘宝的页面吗?事实是，百度并没有遵守robots协议，还是对淘宝的部分页面进行了抓取。如下图所示。
上图我们可以发现，淘宝的很多页面还是依然被百度抓取着。对于百度为什么要不遵守robots协议，执意进行淘宝页面的抓取呢?笔者认为这是一个战略方向的问题，我们都知道目前淘宝是目前国内互联网上最大的电子商务平台，其起着举足轻重的地位。我们继续查了一下，在淘宝上出名的店铺，如韩都衣舍在百度上也有不错的排名。注意证明百度对与淘宝的关注度。同时我们发现淘宝近期才把名字改成天猫的淘宝商城同时也屏蔽了百度，如下图所示。
结果是一样的，天猫依然被抓取了。
对于这种结果的原因还有一点就是可能是因为天猫的权重太高，于是乎百度打破协议进行索引抓取。
评论