在上篇文章站长分享：六个方面浅析蜘蛛爬行与抓取（一）中，分别从常见蜘蛛、跟踪链接、文件存储三个方面做了总结，今天接着上文从吸引蜘蛛、地址库、复制内容检测三个方面做分享。希望通过整篇文章的六个方面能让大家对搜索引擎有个更加深入的了解。好了，开始今天的正文，如果有不对的地方，希望大家做指正。
第四、吸引蜘蛛：通过上文我们知道，虽然蜘蛛理论上能爬取所有页面，但由于链接的复杂性以及时间的局限性，蜘蛛往往只是抓取互联网上网页的一部分，如果我们的网站想要获得好的排名，那么就必须想方设法让蜘蛛来抓取，蜘蛛一般会抓取比较重要的页面，那些页面较重要呢?一是页面权重高、资格老的网站会被认为比较重要;二是页面常更新的页面，对于经常更新的页面，蜘蛛会更加频繁访问;三是导入链接比较多的页面，无论什么样的页面，如果想要蜘蛛访问，就必须有导入链接;四是与首页点击距离近的页面，因为首页的权重往往最高，所以，距首页最近点击距离的页面往往也被认为是最重要的页面。
第五、地址库：地址库对搜索来说显得尤为重要，互联网上的网页数量是巨大的，为了避免爬行和抓取重复的网址，搜索引擎会建立一个地址库，这个地址库主要记录已经发现但是还没有被抓取的页面，以及已经抓取的页面。有了地址库，就能让搜索引擎的工作更加有效率，地址库中的URL地址常常有几个来源：一是人工录入URL;二是自己爬行和抓取，如果爬行到一个新的网址，地址库中没有就会存入待访问的数据库;三是通过提交，很多站长都会去主动提交要被收录的页面。蜘蛛会从待访问的地址中访问里边的URL，爬行完就会删除，并存入以访问的地址库中。但大家也需要了解，我们去主动提高给搜索引擎网址，并不代表他一定会访问并收录我们的页面，搜索引擎更喜欢自己爬行发现新的URL，所以我们还是要做好网页的内容和外部链接。
第六、复制内容检测：互联网中存在大量的重复内容，毕竟共享就是互联网的一大特点，所以这个特点就决定了大量相似的页面存在。所以在爬行与抓取的过程中，检测并删除重复的内容通常是预处理过程中重要的一环，当蜘蛛发现了很多的重复内容，就会给予删除，如果你网站上的内容大量都是重复的，那么你的网站很多可能就不会给予很高的权重。有时网站采集的网站也会被收录，但是过一段我们去查看时，已经被搜索引擎删除了，这就这复制内容检测的过程。如果只是拿来共享下其实无妨，但长期大量复制别人一摸一样的内容就会有问题。建议站长们最好别去大量采集，如果你没有更多的内容去填充你的网站，那建议你最好少更新，少更新也比采集强。
到这里，给大家做个小结：常见蜘蛛，跟踪链接，文件存储，吸引蜘蛛，地址库，复制内容检测，本文从这六个方面和大家完整的分析了搜索引擎蜘蛛爬行与抓取的基本知识。希望大家能认真的读完，虽然很多是基础性的知识，也可能有些枯燥，但这些对我们网站建设和优化是有一定的指导意义的。大体的了解蜘蛛是怎么“想”的和怎么“做”的，我们就能针对这些去补强自己。不要小看任何一个方面，有时就是一个细节就能引起排名的变化。
好了，本文就到这里，大家有什么好的想法也欢迎和我联系，本文来自：扎金花游戏下载，网址：http://www.mobiledy.com/，也欢迎转载，转载请保留链接，谢谢!
评论