最近有朋友问前锋的站点除了把合肥SEO、合肥网站推广做上首页，而安徽SEO、安徽网站推广、安徽网站优化也排在百度首页。所以借着这个契机，跟大家聊聊百度的中文分词技术，也都是自己的一些理解，有更多的想法欢迎交流。
SEOer都知道，搜索引擎工作原理中有一步预处理，将抓取的页面进行几道工序处理下，为之后的排名机制做好初步准备。在预处理过程中，就有分词这一道技术工序。英文是以一个单词作为基本单位，单词之间用空格分割连成一句话，中文是以字为单位中间没有连接符成为一句话。所以，中文分词与英文分词差别很大。而从现有的搜索引擎特别是百度的中文分词研究表明，主要是基于词典匹配和基于统计。
1、基于词典匹配是指将目标词或句与已有的词典中的词条进行匹配处理，扫描之后匹配成句、词、字形式。
(1)按照扫描方向不同，可分为正向匹配和逆向匹配。
(2)按照匹配长度优先级不同，可分为最大匹配和最小匹配。
(3)按照扫描方向和长度优先混合匹配，可分为正向最大匹配和逆向最大匹配等。
2、基于统计是指分析大量数据样本，扫描计算出字或词或句出现的统计概率，几个字乡邻出现越多，就越能形成一个词，同样的可以形成句。
基于词典匹配准确性是取决于词典的完整性和时效性，速度很快。基于统计的分词方法更为灵活，同时有利于消除歧义，但速度较慢。搜索引擎的中文分词往往是将这两种分词技术糅合在一起使用，以提高速度和准确性。这是我们所说的中文分词技术，那么同样的基于这些中文分词技术，我们要最大化利用，回归合肥SEO博客，谈谈前锋对中文分词技术的应用和揣测。
1、从关键词合肥SEO”会被拆分为“合肥”+“SEO”，“合肥网站推广”会被拆分“合肥”+“网站”+“推广”或者“合肥”+“网站推广”或者“合肥网站”+“推广”等形式。这种分词可以很好的理解，并在我们的站点中得到广泛的应用。百度搜索“合肥SEO”前20个结果页中只有一个不是完全匹配，“合肥网站推广”前20个结果只有四个不是完全匹配
评论