分词工具stanford分词工具可以使用自己的词典吗？编码和格式是什么样的？

分词工具时间:2021-01-30 阅读:()

谁用过中文分词组件

看一下，下载地址：

/content/updatefiles/2006-10/20061019_165025.rar?

中英文分词组件。

完全C#托管代码编写，独立开发。

技术特点 ========= 1. 识别率接近90%。

虽然和专业分词系统相比有一定的差距，但对于搜索引擎等小型分词需求而言足够了。

2. 多元歧义自动识别。

对于前后歧义有较好的识别效果。

如: 长春市长春节致词 -- 长春/市长/春节/致词/ 长春市长春药店 -- 长春市/长春/药店 3. 常用及敏感词过滤功能。

通过一个简单的属性设置就可以完成针对常用词、标点和敏感词汇的过滤。

系统内置了常用无意字词和标点的过滤。

当然针对文章等分词时可以屏蔽过滤功能。

4. 控制符过滤功能。

可以设置属性值，在分词结果中保留回车换行等控制字符，从而保留原来的显示结构。

5. 内置10万多条基本词库。

系统内置包含10万多条优选词汇的基本词库，并提供编程接口任意扩充。

6. 全角字符识别能力。

如：IＢM和HP都是世界级的PC制造商。

-- IＢM/和/HP/都/是/世界级/的/PC/制造商/。

7. 轻量级的分词组件，仅1个DLL文件，无需安装注册，发布简便。

目前哪些基于 Solr 的分词器比较完善

要动态加载的首先基于机器学习的一些工具自然是不怎么容易上手了。

当然也没那么容易入手。

至于几种常见的lucene切词工具 Paoding<ik<<<<< Paoding词库基本已经没有更新，当然也没必要更新。

最近的一次更新应该是兼容solr.4xx 自定义词典什么的就是个普通的文本文件而已。

不过每次修改之后需要重新封装。

具体忘了。

解决方法肯定是有的就是了。