分词算法matlab用正向最大匹配算法实现中文分词!急!!!

分词算法  时间:2021-09-01  阅读:()

什么是“分词发”?

“分词发”主要是针对搜索引擎的,因为搜索引擎是老外开发的,老外只懂英文,而且由于英文的书写方式单词与单词之间是空格隔开的,所以计算机很容易把一句英文句子分个成一个一个的单词,但是中文是以字为单位的,一个一个分开就失去了他的意义,举个简单的例子:英文句子I am a student,中文的意思是“我是一个学生”,通过空格搜索引擎能够很容易的知道student是一个单词,但是无法知道需要学和生合起来才表达一个意思,为了让搜索引擎从一个句子中分割出有意义的词,所以就引入了分词这一概念……

请问:计算中文短文本相似性需要对短文本进行分词吗?如果需要的话,有什么分词方法?

要看你选择的相似性算法有什么样的要求了,一般都是用词汇空间距离,这样肯定要进行分词操作的。

分词方法现在有很多,你可以在网上找一些现成的代码来做,不管哪一种分词方法都不能做到100%的分词准确性,还是要加入人工干预的。

哪个高手有中文分词逆向最大匹配算法?

逆向最大匹配法通常简称为RMM法。

RMM法的基本原理与MM法相同 ,不同的是分词切分的方向与MM法相反,而且使用的分词辞典也不同。

逆向最大匹配法从被处理文档的末端开始匹配扫描,每次取最末端的2i个字符(i字字串)作为匹配字段,若匹配失败,则去掉匹配字段最前面的一个字,继续匹配。

相应地,它使用的分词词典是逆序词典,其中的每个词条都将按逆序方式存放。

在实际处理时,先将文档进行倒排处理,生成逆序文档。

然后,根据逆序词典,对逆序文档用正向最大匹配法处理即可。

例子:’我一个人吃饭’ 反向最大匹配方式,最大长度为5

java编个中文分词的程序

import?java.io.Reader; import?java.io.StringReader; .apache.lucene.analysis.*; .apache.lucene.analysis.cjk.CJKAnalyzer; .ChineseAnalyzer; .apache.lucene.analysis.standard.StandardAnalyzer; .mira.lucene.analysis.MIK_CAnalyzer; public?class?JeAnalyzer?{ ????public?static?void?testStandard(String?testString)?{ ????????try?{ ????????????Analyzer?analyzer?=?new?StandardAnalyzer(); ????????????Reader?r?=?new?StringReader(testString); ????????????Filter?sf?=?(Filter)?analyzer.tokenStream("",?r); ????????????System.err.println("=====standard?analyzer===="); ????????????Token?t; ????????????while?((t?=?sf.next())?!=?null)?{ ????????????????System.out.println(t.termText()); ????????????} ????????}?catch?(Exception?e)?{ ????????????e.printStackTrace(); ????????} ????} ????public?static?void?testCJK(String?testString)?{ ????????try?{ ????????????Analyzer?analyzer?=?new?CJKAnalyzer(); ????????????Reader?r?=?new?StringReader(testString); ????????????Filter?sf?=?(Filter)?analyzer.tokenStream("",?r); ????????????System.err.println("=====cjk?analyzer===="); ????????????Token?t; ????????????while?((t?=?sf.next())?!=?null)?{ ????????????????System.out.println(t.termText()); ????????????} ????????}?catch?(Exception?e)?{ ????????????e.printStackTrace(); ????????} ????} ????public?static?void?testChiniese(String?testString)?{ ????????try?{ ????????????Analyzer?analyzer?=?new?ChineseAnalyzer(); ????????????Reader?r?=?new?StringReader(testString); ????????????TokenFilter?tf?=?(TokenFilter)?analyzer.tokenStream("",?r); ????????????System.err.println("=====chinese?analyzer===="); ????????????Token?t; ????????????while?((t?=?tf.next())?!=?null)?{ ????????????????System.out.println(t.termText()); ????????????} ????????}?catch?(Exception?e)?{ ????????????e.printStackTrace(); ????????} ????} ????public?static?String?transJe(String?testString,?String?c1,?String?c2)?{ ????????String?result?=?""; ????????try?{ ????????????Analyzer?analyzer?=?new?MIK_CAnalyzer(); ????????????Reader?r?=?new?StringReader(testString); ????????????TokenStream?ts?=?(TokenStream)?analyzer.tokenStream("",?r); ????????????Token?t; ????????????while?((t?=?ts.next())?!=?null)?{ ????????????????result?+=?t.termText()?+?","; ????????????} ????????}?catch?(Exception?e)?{ ????????????e.printStackTrace(); ????????} ????????return?result; ????} ????public?static?void?main(String[]?args)?{ ????????try?{ ????????????String?testString?=?"中文分词的方法其实不局限于中文应用,也被应用到英文处理,如手写识别,单词之间的空格就很清楚,中文分词方法可以帮助判别英文单词的边界"; ????????????System.out.println("测试的语句????"+testString); ????????????String?sResult[]?=?transJe(testString,?"gb2312",?"utf-8").split(","); ????????????for?(int?i?=?0;?i?<?sResult.length;?i++)?{ ????????????????System.out.println(sResult[i]); ????????????} ????????}?catch?(Exception?e)?{ ????????????e.printStackTrace(); ????????} ????} } jar包?? lucene-analyzers-2.4.1.jar lucene-core-2.4.1.jar IKAnalyzer2.0.2OBF.jar

matlab用正向最大匹配算法实现中文分词!急!!!

SqlConnection con = new SqlConnection con.Open(); string sqlstr = "sql语句"; SqlDataAdapter da = new SqlDataAdapter(sqlstr, con); DataSet ds= new DataSet(); da.Fill(ds); dataGridView1.DataSource = ds.Tables[0]; con.Close();

Vultr VPS新增第18个数据中心 瑞典斯德哥尔摩欧洲VPS主机机房

前几天还在和做外贸业务的网友聊着有哪些欧洲机房的云服务器、VPS商家值得选择的。其中介绍他选择的还是我们熟悉的Vultr VPS服务商,拥有比较多达到17个数据中心,这不今天在登录VULTR商家的时候看到消息又新增一个新的机房。这算是第18个数据中心,也是欧洲VPS主机,地区是瑞典斯德哥尔摩。如果我们有需要欧洲机房的朋友现在就可以看到开通的机房中有可以选择瑞典机房。目前欧洲已经有五个机房可以选择,...

艾云年付125元圣何塞GTT,洛杉矶vps年付85元

艾云怎么样?艾云是一家去年年底成立的国人主机商家,商家主要销售基于KVM虚拟架构的VPS服务,机房目前有美国洛杉矶、圣何塞和英国伦敦,目前商家推出了一些年付特价套餐,性价比非常高,洛杉矶套餐低至85元每年,给500M带宽,可解奈飞,另外圣何塞也有特价机器;1核/1G/20G SSD/3T/2.5Gbps,有需要的朋友以入手。点击进入:艾云官方网站艾云vps促销套餐:KVM虚拟架构,自带20G的防御...

瓜云互联-美国洛杉矶高防CN2高防云服务器,新老用户均可9折促销!低至32.4元/月!

瓜云互联一直主打超高性价比的海外vps产品,主要以美国cn2、香港cn2线路为主,100M以内高宽带,非常适合个人使用、企业等等!安全防护体系 弹性灵活,能为提供简单、 高效、智能、快速、低成本的云防护,帮助个人、企业从实现网络攻击防御,同时也承诺产品24H支持退换,不喜欢可以找客服退现,诚信自由交易!官方网站:点击访问瓜云互联官网活动方案:打折优惠策略:新老用户购买服务器统统9折优惠预存返款活动...

分词算法为你推荐
高级工程师证书高级工程师证书是什么色动画技术影视动画专业是干什么的?文件保护word保护文档怎么取消2g内存条电脑里面的2G内存是做什么用的封包是什么这个七月半封包怎么填最好的电脑操作系统什么版本的电脑系统好用物联网公司排名求消防物联网公司排名?榜单出来了吗上海网络维护公司上海有没有专业公司网络维护的啊免费数据采集软件那个软件可以自动每天采集几十个网站的最新信息,并且发布信息到自己的门户网站上锤子手机发布会视频锤子手机发布会上,老罗说安卓不是原生的安卓这是什么意思?原生的安卓应该是什么样呢?
已备案未注册域名 便宜vps ddos 香港vps99idc ion 美国主机评论 国外服务器网站 paypal认证 debian源 远程登陆工具 国内加速器 html空间 亚洲小于500m 100x100头像 40g硬盘 有益网络 河南m值兑换 支持外链的相册 创建邮箱 万网空间管理 更多