Sosospider
Sosoimagespider
谷歌的
googlebot
googlebot-image
googlebot-mobile
Mediapartners 或 Mediabot 这个特别说明：谷歌广告爬虫，用来匹配广告，如果你做了谷歌广告并且限制了所有蜘蛛，你就悲剧了，没有做谷歌广告的，爬虫不会造访(这就是谷歌的强悍之处，用一个蜘蛛来为广告服务)
其它的就不说了，可以自己搜索一下，小弟文笔疏浅如果有说的不足的地方，希望各位大虾能够指点一 二!
本文转载时请注明来自草蛋网www.fuckegg.cc，转载时请保留此链接，请遵重原创 赵峰设计www.zhaofeng.org!
评论