数据分析系统，是搜索引擎整个工作流程的第二个系统，也就是既搜索引擎蜘蛛抓取系统的后一个系统，搜索引擎的数据分析系统主要用来处理蜘蛛抓取回来的网页，今天呢，小强会给你详细的讲解，搜索引擎的数据分析系统的工作流程及几个重要的知识点。我们刚刚说了，数据分析系统主要是分析蜘蛛抓取回来的内容，那么怎样分析呢?主要涵盖以下几点。
网页结构化
什么是网页结构化呢?我们要知道网页，是由html组成，搜索引擎蜘蛛最后抓取回来的，也都是html的代码页面，简单的说，网页结构化，就是删掉html代码，然后留下其中的内容，如下图，图1是网页结构化之前，图2就是网页结构化之后。
网页结构化之前
网页结构化之后
网页的内容消噪
在网页结构后之后，依然存在着一些搜索引擎不需要的内容，比如说导航栏的菜单文字，底部的版权信息等，这些呢，都是搜索引擎不需要的，搜索引擎只需要内容，那么在这个时候就会对网页结构化之后的内容进行消噪处理，简单的说，消噪就是把内容之外的文字全部删掉，比如菜单上的文字，底部版权的文字等等。
那么搜索引擎的数据分析系统怎么判断哪些是菜单文字哪些是版权信息呢?
其实很简单，就是对比，比如一个内容页，除了内容不一样，其他的内容几乎一样，比如导航，每个页面都有导航，而且文字也一样，版权也是，当然也会根据html的源码去分析。
对页面的查重
评论