我们做SEO优化工作的都明白，一个网站想要在搜索引擎获得好的排名，必须是要被蜘蛛(spider)所爬取收录我们的网页。搜索引擎蜘蛛把爬取到的代码存入自己的数据库里面，从而我们就能够在搜索引擎上面搜索到我们的网站。
网奇SEO培训认为，我们网站SEO优化第一步要做到的就是吸引蜘蛛来爬取我们的网站，搜索引擎的蜘蛛爬取到我们的网站，都会有痕迹，都会有自己的代理名称，各位站长都可以在日志文件中分辨出分别是哪个搜索引擎的蜘蛛。
比较常见的搜索引擎蜘蛛有：
Baiduspider+(+baidu/search/spider.htm:baidu/search/spider.htm)
代表百度蜘蛛爬取过的痕迹
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
雅虎中国蜘蛛爬取过的痕迹
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google蜘蛛爬取过的痕迹
Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜狗蜘蛛爬取过的痕迹
Sosospider+(+http://help.soso.com/webspider.htm)
搜搜蜘蛛爬取过的痕迹
Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
有道蜘蛛爬取过的痕迹
各位站长如果要吸引蜘蛛来爬取我们做SEO优化的网站的话，必须是要做一些工作的，因为蜘蛛不能够爬取互联网所有的网站，实际上最大的搜索引擎也只是爬取了收录了互联网很小的一部分。
如果SEO优化人员想要自己的网站更多的被搜索引擎收录，那么网奇SEO培训认为必须得想法设法的蜘蛛吸引过来抓取。搜索引擎一般都会爬取比较重要的页面，我们要符合蜘蛛爬取重要性的规则需要满足几个条件：
评论