对于真假百度蜘蛛，相信SEO及站长们已经有明确的手段去辨别了。百度也在官方通告了如何去判别伪装成百度蜘蛛的抓取，详情请参考这篇文章：http://www.baidu.com/search/spider.htm
假蜘蛛对我们网站的危害是巨大的，具体有：
1.占用网站带宽，导致网站流量上升，增加额外开销
2.在有限带宽的前提下，阻碍了正常蜘蛛的抓取
3.误导了我们在对网站开展SEO工作时的思路
4.部分伪装成假蜘蛛的采集工具剽窃了我们的工作
我们看到，网上有很多人在分享如何“捉住”假蜘蛛的文章，但这些文章只是千篇一律的描述了“捉住”假蜘蛛的过程及操作方法。却没有分享从如何真正的判别蜘蛛的真伪。
作者本人最近在对一个电商网站进行SEO优化时，就碰到了这样一个案例，险些导致将真蜘蛛错当假蜘蛛来处理。
一、发现“假蜘蛛”
SEO优化要依靠大量的分析和数据来实现，其中日志分析是重中之重，在日志中我们可以看到很多平时统计工具无法看到的数据和事实。
每周三我都要对该电子商务网站进行周日志的分析，以便来统计上一周的优化效果，在本周进行对网站日志进行分析查看时，我发现了几个不属于认识中的“蜘蛛IP”，如图：
我们知道，百度蜘蛛一般来自于202.181.108.* 和123.125.71.* 这两个IP段（顺便科普一下，这两个IP段的百度蜘蛛没有所谓高权重和降权之分）。显然这三个IP在“常识”中，不属于百度蜘蛛所属的IP段。
为了确保不误杀百度蜘蛛，笔者用nslookup ip命令反解了此IP，得到以下信息：
评论