最近在看一本书，发现当我们不实践直接看原理是枯燥无味的，而实践过后反过来看原理，会觉得很多道理，很多感悟。就拿我自己做反面教材，说我是搜索引擎优化工作者，我对搜索引擎的工作方式和基本的抓取原理，更新策略都不懂。那么你呢?下面就分享下我的读书笔记，仅当新人扫盲。
在介绍搜索引擎爬虫的之前，首先了解爬虫把网页的分类，四种：
1，已过期的网页和已下载的网页
2，待下载的网页
3，可知网页
4，不可知网页
下面我会详细介绍搜索引擎是如何更新已下载网页，如何下载待下载网页，如何处理可知但未抓取的网页，如何抓取不可知网页。
一.处理待下载网页
抓取策略：在一堆可知的网页中，搜索引擎会抽出待抓取网页url，爬虫抓取网页url在其中顺序排列，形成一个队列，调度程序每次从队列头取出某个url，发送给网页下载器下载内容，每个新下载的页面包含的url会追加到带抓取队列中的末尾，形成循环，这是最基础的算法。但不是唯一的方法。
这样纯粹是按照顺序抓取，但是搜索引擎一般都选择重要的页面优先抓取。网页重要性，大部分是按照网页流行度抓取的，所为网页流行度，谷歌官方有句话是指曝光度，通俗意思就是反向链接。(所以才有那么多人做外链)
一般有四种方案选择重要页面：宽度优先遍历策略，非完全pagerank(非谷歌pr值)策略，ocip策略，大站优先策略
1、宽度优先遍历策略:将新下载的网页包含的链接直接追加到带抓取url队列末尾。看似很机械，其实包含了一些优先策略：如果入链比较多，就更加容易被宽度优先遍历策略抓取到，入链个数侧面表现了网页的重要性。(这就是为什么要做好站内链接)
2、非完全pagerank：前面的是以数量来定的，这个是加入了质量。
初始算法：将已下载的的网页加入待下载url队列中形成网页集合，在这个集合中计算pr,然后将带抓取的队列按照pr重新排列，就按照这个顺序抓取。
(每次新下载网页之后又要重新计算排序，显得效率太低了)
每当攒够k个网页之后在重新计算。但是问题是：新抽出来的网页没后计算pr没有pr值，他们的重要性可能比已经在队列中的要高怎么办?
解决办法：给每个新抽出来赋予一个临时pr，这个临时pr是根据入链传到的pr值汇总的值。这样在计算下，如果比队列中高就有限抓取他。这就是非完全pr
评论