作为一名网站优化从业者，竟然不理解蜘蛛是怎么工作的，这样的优化，肯定是事倍功半，理解蜘蛛才应该是网站优化从业者的第一堂课。
上周末，应一个公司邀请，去给他们做搜索引擎优化(Seo)的相关培训，以及技能效果的提升。那是我最不愿看见的事情，他们的Seo人员每天的工作还停留在伪原创和发外链两个阶段。我大致看了下他们的优化效果，domain相关域达到一万多，但是最终的效果很不理想。我看完之后，只觉得这个成本太高了，不做也罢。
这里很多Seo高手，都知道外链和内容。这些用不到我们分享，今天只讲蜘蛛。因为，这是我在给他们公司培训的时候发现的一个很严重的问题：他们都听说过蜘蛛，知道蜘蛛是干什么的，但是不知道蜘蛛是怎么工作的。
一、蜘蛛的来路有哪些，它是怎么到你的网站的
通常来说，蜘蛛的可以通过三种途径到达你的网站，分别是主要提交网站，通过在其他网站的连接跟踪到你的网站，有一定规律的自由行动。
很多人都说现在蜘蛛很智能不用提交网站了，其实错了，是因为你在其他网站发布的外链引来的蜘蛛。这两种形式都是可操作的，最后一种比较特别，我们通常会认为蜘蛛会按照1-0，a-z 这样的方式对域名进行扫描，然后进入其中的网站。
二、最大程度的利用你的Robots，这是网站大门
按照常规的说法，Robots文件是限制蜘蛛在你网站的活动范围，更好的保护网站所有者的权利和隐私。这是蜘蛛到达一个网站后要做的第一件事情，如果一个网站没有该文件，蜘蛛则认为是该网站所有的内容均可挖掘。
在Robots文件中，一般只用到禁止(Disallow)。其实你还可以用推荐允许(Allow)。一个网站中有很多暗角是蜘蛛不能爬行到的，这时候，你可以用Allow指引蜘蛛，你可以多做一些地图页面，让蜘蛛在上面活动。
也有人说，为什么要用Allow,直接使用Sitemap不就可以了么。我们都知道，其实大家更看重的Sitemap，谷歌是完全没问题的，而百度蜘蛛理解起来是有一定问题的，不能很好的发挥他的作用。
三、蜘蛛在一个网站域内(domain)的活动方式
评论