分词中文分词技术研究

中文分词技术研究

摘要分词技术做为WEB文本摘要的一个重要的技术环节在WEB文本摘要技术中占有很重要的地位本文从分词方法及分词算法两个角度对中文分词技术进行研究与分析。

关键词 中文分词未登录词特征词

词是最小的能够独立活动的有意义的语言成分是计算机处理信息的基本单位。词界Word Houndury是词语之间的间隔词界之间的标志是两个词间的分隔符。汉语分词的过程也就是找出词界的过程。

1.分词方法

1.1基于词典的分词方法

M最大最小匹配标志 1为最大匹配 -1为最小匹配

分词的过程即可以表示为在DA G中从P 0到P n+1的路径中利用评价函数选取最佳路径的过程。

1.2基于统计的分词方法

1.2.1统计分词模型

N元语言模型。

1.2.2N元模型

N元语言模型是一种常用的统计语言模型利用其展开P W为

2.未登录词及分词算法

2.1未登录词问题

未登录词问题源于分词中词典的大小词典中容量有限。则必定存在词典中没有出现的词你为未登录词未登录词包括词典中未登录的人名、地名、机构名、新词语等。在实际的书面文本中特别是在新闻类文本中大量包含人名、地名、机构名等未登录词的处理成为文本自动切分的一个十分突出的问题。

2.2中文自动分词的基本算法

2.2.1正向最大匹配法MM Maximum M atch Method