做网站也做了这么长时间，站长们能遇到的事情都遇到过了，最常见无非就是网站被降权，网站快照不更新网站主要关键字排名下降，，外链数量减少等等，这些问题往往就是由于网站初期准备工作没准备好就上线的结果，导致后期更换网站板块或者频繁修改其它蜘蛛经常爬行的文件所引起的，今天小编和大家探讨一下修改robots文件后对网站的影响及一些搜索引擎的反应。
第一次修改robots文件后百度百度谷歌反应
快照更新了，发现了是4天一周期，每天流量很大，但是用户都在我屏蔽的/user/文件里，蜘蛛无法抓取，最大的流量就是用户中心，我就试着把robots文件修改下，让蜘蛛可以访问那个文件。 以前谷歌收录12万，记得很深刻的一次是修改robots.txt文件后，谷歌当时是收录已经超过12万，第二天没事继续以每天1000多收录的速度抓取，再看百度这方面，也没事。但不幸的事情还是发生了... 快照更新后再一次的site:域名发现，谷歌收录6万(原来是12万多)，百度这方面也是变了，原来的3万5千600到更新快照后的4万9千整的收录，当时修改的是把robots文件写入屏蔽团购的页面(那个是调用的)，当时感觉不知道是什么原因导致谷歌收录大减，百度收录大增的，但继续测试，才发现致命的原因...
二次修改robots文件惹怒蜘蛛，谷歌直接K站
刚开始站不是建立很久总是喜欢修改这修改那的，把首页都动起来了，我的站的保安robots也是被我“装饰”得极其丰富，事情发生在年底，把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(当时搜狗流氓抓取得导致网站流量不够)，修改后的第三天，从谷歌收录本一路下跌的淘宝广东站直到那天的6万多到1200条收录，看了心都当时凉了一截了，至今谷歌都不大抓取网站了，收录在1000上下徘徊。
小编还有一个秒收的博客站也是因为修改了robots文件，谷歌直接K站，当时那个站修改robots文件太过频繁，导致适得其反的效果，百度也持续一周没更新快照，蜘蛛对robots文件极度敏感，这是新站不能碰的优化地雷区。
建站初期应当全面设置好robots文件，防止后期更改
评论