一周前，笔者分享过一篇文章《SEO诊断：透过Log日志找到网站死结》，并在最后附上了两条改善建议。由于客观条件所限，最后采用robots屏蔽的方法。先一起来看看一周后的蜘蛛变化，三大主流蜘蛛总抓取量锐减，证明robots文件开始生效。从图上的访问次数、总停留时间和总抓取量看，有所进步但路还很远。
然而，从11号开始，网站LOG日志开始出现众多中文非主流蜘蛛访问，其中不乏知名俄罗斯搜索引擎蜘蛛Yandexbot，还有不明“飞行物”AhrefsBot & ezooms.bot。 按照思维中定型的屏蔽蜘蛛方法，本能地将以上所有蜘蛛(对中文网站seo而言，以上的蜘蛛就是垃圾蜘蛛)通过Robots.txt文件disallow掉。本以为这样就算搞定了，但是今早打开最近3天的LOG日志一看，垃圾蜘蛛抓取更加频繁，凶猛，尤其以ezooms.bot为甚。
一般来说，搜索引擎对待Robots.txt文件有个生效期，大概2-7天。但是ezooms.bot的迅猛发展，让我不得不怀疑他是个Robots协议违反者。
今天要分享的就是如何通过.htaccess文件屏蔽不良蜘蛛。
以下是14号的网站日志，导入到Excel进行筛选分析，发现在当天所有访问日志(包括真实用户和蜘蛛)中，竟然有多达342次访问记录。而尤以AhrefsBot & ezooms.bot居多。
(注：此例输入“Bot”进行筛选;国外蜘蛛一般叫Bot，国内一般叫Spider)
Ezooms.bot究竟是何方神圣?于是通过百度去搜索相关的记录，但是很不理想，百度没有任何相关的记录。没办法，只能求助于谷歌，满篇幅都是英文，头大了，咬咬牙慢慢咀嚼吧。
评论