分词算法搜索引擎常用的中文分词的方法有哪些

java 怎么用lucenes进行分词

import java.io.IOException; .apache.lucene.analysis.Analyzer; .apache.lucene.document.Document; .apache.lucene.document.Field; .apache.lucene.document.StringField; .apache.lucene.document.TextField; .apache.lucene.index.CorruptIndexException; .apache.lucene.index.DirectoryReader; .apache.lucene.index.IndexReader; .apache.lucene.index.IndexWriter; .apache.lucene.index.IndexWriterConfig; .apache.lucene.index.IndexWriterConfig.OpenMode; .apache.lucene.queryparser.classic.ParseException; .apache.lucene.queryparser.classic.QueryParser; .apache.lucene.search.IndexSearcher; .apache.lucene.search.Query; .apache.lucene.search.ScoreDoc; .apache.lucene.search.TopDocs; .apache.lucene.store.Directory; .apache.lucene.store.LockObtainFailedException; .apache.lucene.store.RAMDirectory; .apache.lucene.util.Version; .wltea.analyzer.lucene.IKAnalyzer; /** * 使用IKAnalyzer进行Lucene索引和查询的演示 * 2012-3-2 * * 以下是结合Lucene4.0 API的写法 * */ public class LuceneIndexAndSearchDemo { /** * 模拟： * 创建一个单条记录的索引，并对其进行搜索 * @param args */ public static void main(String[] args){ //Lucene Document的域名 String fieldName = "text"; //检索内容 String text = "IK Analyzer是一个结合词典分词和文法分词的中文分词开源工具包。

它使用了全新的正向迭代最细粒度切分算法。

"; //实例化IKAnalyzer分词器 Analyzer analyzer = new IKAnalyzer(true); Directory directory = null; IndexWriter iwriter = null; IndexReader ireader = null; IndexSearcher isearcher = null; try { //建立内存索引对象 directory = new RAMDirectory(); //配置IndexWriterConfig IndexWriterConfig iwConfig = new IndexWriterConfig(Version.LUCENE_40 , analyzer); iwConfig.setOpenMode(OpenMode.CREATE_OR_APPEND); iwriter = new IndexWriter(directory , iwConfig); //写入索引 Document doc = new Document(); doc.add(new StringField("ID", "10000", Field.Store.YES)); doc.add(new TextField(fieldName, text, Field.Store.YES)); iwriter.addDocument(doc); iwriter.close(); //搜索过程********************************** //实例化搜索器 ireader = DirectoryReader.open(directory); isearcher = new IndexSearcher(ireader); String keyword = "中文分词工具包"; //使用QueryParser查询分析器构造Query对象 QueryParser qp = new QueryParser(Version.LUCENE_40, fieldName, analyzer); qp.setDefaultOperator(QueryParser.AND_OPERATOR); Query query = qp.parse(keyword); System.out.println("Query = " + query); //搜索相似度最高的5条记录 Docs = isearcher.search(query , 5); System.out.println("命中：" +Docs.totalHits); //输出结果 ScoreDoc[] scoreDocs =Docs.scoreDocs; for (int i = 0; i 百度中文分词如何分词而百度中文分词就是把词按照一定的规格，将一个长尾词分割成几个部分，从而概括一段话的主要内容。

在百度中文分词中，百度强调的是：一、 字符串匹配的分词方法。

我们需要有一定的字符串做基础，就是一段词用字符分开，比如标点符号，空格等。

才能够进行分词匹配，我们把这些字符串叫做机械词典。

机械词典的个数不定。

由每个搜索引擎自己确定。

每个机械词典之间还会有优先级。

字符串匹配的分词方法最常用的有几种：1、正向最大匹配法（由左到右的方向）2、逆向最大匹配法（由右到左的方向）3、最少切分（使每一句中切出的词数最小）百度中文分词基于字符串匹配举例给大家说明一下：“我想去澳大利亚旅游”正向最大匹配：我想去，澳大利亚旅游逆向最大匹配：我想，想去，澳大利亚，旅7a686964616fe78988e69d8331333332643261游。

最少切分：我把上面哪句话分成的词要是最少的“我想去，澳大利亚旅游”这就是最短路径分词法，分出来就只有2个词了。

另外，不同的搜索的词典不同，分出来的词也不同。

二、理解的分词方法。

这种分词方法不需要机械词典。

这种其实就是一种机器语音判断的分词方法。

很简单，进行句法、语义分析，利用句法信息和语义信息来处理歧义现象来分词，这种分词方法，现在还不成熟。

处在测试阶段。

三、统计的分词方法。

这个顾名思义，就是根据词组的统计，发现那些相邻的字出现的频率高，那么这个词就很重要。

可以作为用户提供字符串中的分隔符。

比如，“我的，你的，许多的，这里，这一，那里”。

等等，这些词出现的比较多，就从这些词里面分开来。

四、对于百度中文分词的理解：基于统计的分词方法得到的词或者句子的权重要高于基于字符串匹配得到的。

就是全字匹配得到的词的权重会高于分开的词的权重。

根据自己的观察现在百度大部分都是使用的是正向匹配。

百度分词对于一句话分词之后，还会去掉句子中的没有意义的词语。

如何用python进行中文分词

安装jieba pip?install?jieba然后 >>>?import?jieba >>>?seg_list?=?jieba.cut("我来到北京清华大学",?cut_all=True) >>>?print("Full?Mode:?"?+?"/?".join(seg_list)) Building?prefix?dict?from?the?default?dictionary?... Dumping?model?to?file?cache?C:UsersjustinAppDataLocalTempjieba.cache Loading?model?cost?0.902?seconds. Prefix?dict?has?been?built?esfully. Full?Mode:?我/?来到/?北京/?清华/?清华大学/?华大/?大学 >>>?seg_list?=?jieba.cut("我来到北京清华大学",?cut_all?=?False) >>>?print("Precise?Mode:?"?+?"/".join(seg_list)) Precise?Mode:?我/来到/北京/清华大学还有更多的模式和细节，自己去百度吧

搜索引擎常用的中文分词的方法有哪些

1. 分词是指将一段句子切分成一个个单独的词项，对于英文来讲，单词作为词项，由于英文的书写格式，词与词之间必须有空格，这样搜索引擎很容易将一段句子处理成词项的集合;但是中文来讲，词之间没有空格，搜索引擎不能够直接将句子处理成词项的集合，需要一个分词过程，这里简单介绍搜索引擎中文分词的方法。

　　一、基于词典的分词方法 　　也叫“机械分词法”，将分词的句子与词典中的词语进行匹配，如果匹配成功，则将匹配的部分作为一个词，最后生成一个词语序列，根据分词的方向与优先长度不同可分为一下四种方法： 　　1、正向匹配法 　　根绝句子的正序(由左至右)进行匹配，例如：发展中国家，切分为：发展/中国/家。

　　2、逆向匹配法 　　根据句子的逆序(由右至左)进行匹配，例如：发展中国家，切分为：发展/中/国家。

　　3、最大匹配法 　　根据词典中最长的词语的长度确切分，如果不是，则在使用次一级长度去切分，假设字典中最长的词语是4个，以“发展中国家”为例，首先截取前四个“发展中国”判断，如果与字典中的词匹配，那么就是词项，如果不匹配，那就截取前三个词“发展中”来判断，以此类推直至切分出词项。

　　4、最小匹配法 　　同最大匹配法刚好相反。

　　二、基于理解分词的方法 　　为了解决分词中的歧义问题，搜索引擎完全模拟人理解句子的过程，对句子进行句法分析与语义分析，这个方法需要大量的语言知识和信息，计算过程比较复杂，对搜索引擎的基础硬件要求比较高。

　　三、基于统计分词的方法 　　随着时代与互联网的发展，会产生很多新的词汇，例如一些人名、新科技名词、新事件名(比如XX门、XX帝等)，这些词汇未被词典收录，这些词成为“未登录词”，这些词汇的切分就要依靠统计分词的方法，搜索引擎通过统计这些字在整个语料库中出现的频率，例如在语料库中发现“S”、“E”、“O”同时出现的次数非常高，那么搜索引擎就判定”SEO”是一个词汇。