检索分词技术

吕娟袁相琴论第四种情报检索语言系统摘要第四种情报检索语言是自然语言与人工语言结合的一体化语言.
第四种情报检索语言系统是一种基于网络的信息检索系统,比分类主题一体化情报检索语言系统更高级更新颖,是我国21世纪情报检索语言系统研究的方向.
加快我国第四种情报检索语言系统研究的关键,是解决汉语分词技术问题.
参考文献14.
关键词情报检索语言第四种情报检索语言系统中国分类主题词表一体化语言系统词素分类号G354.
2ABSTRACTThefourthinformationretrievallanguageisalanguageintegratingnaturalandartificiallanguages.
Thefourthinformationretrievallanguagesystemisanetwork2basedinformationretrievalsystem,moreadvancedthantheclassification2subjectintegrationinformationretrievallanguagesys2tem,andisthedirectionoftheresearchofinformationresearchlanguagesysteminChinainthetwen2ty2firstcentury.
Inthispaper,theauthorsthinkthatthekeytoacceleratetheresearchinChinaistosolvetheproblemofChinesewordsegmentation.
14refs.
KEYWORDSInformationretrievallanguage.
Fourthinformationretrievallanguagesystem.
ClassifiedChineseThesaurus.
Integratedlanguagesystem.
Morpheme.
CLASSNUMBERG354.
220世纪,分类语言、主题语言和分类主题一体化语言被应用于传统情报检索系统(包括联机检索系统和光盘检索系统);21世纪,自然语言与人工语言相结合并应用于网络环境.
第三种情报检索语言即分类主题一体化语言,实质是人工语言内部的一体化[1].
笔者称自然语言与人工语言结合的一体化语言为第四种情报检索语言.
1第四种情报检索语言产生原因迅猛发展的全球计算机网络系统应用环境和多数据库资源共享体系的实现是第四种情报检索语言产生的前提,情报用户社会化使其蓬勃发展.
111人工语言向易用方向发展的必然性人工语言词汇量少,标引难度大,更新速度慢,词汇发展滞后,直接影响网络资源的快速高效流动.
同时,在一个大的数据库中,每个主题词下都集中了数百数千条记录,要获得所需数据还得逐条搜索,费时费力.
自然语言系统则不然,它专指性高,词汇量看,可敲Esc键终止显示,击键次数相当于补敲1空格键,只是屏幕上显示出的不相关的期刊太多,显得杂乱.
为了检索时逐屏显示,显示命令应使用DISP而不使用LIST.
每个汉字的汉语拼音字母平均312个,最容易检的汉字,除打完拼音字母外,在DOS系统下的智能全拼至少要加击1选字键,而在Windows系统下的智能ABC输入法最少也要加击2键才能把字打到光标处.
就是说,要把1个汉字打到光标处,不连换行选字的击键次数,最少也要平均击412或512键.
而使用我们设计的这种检索方法检索一种刊名,把所需输入的首字母打到光标处还平均不到4键.
可见,我们设计的这种检索刊名的方法,其速度比检索一个普通汉字的速度还要快.
结论:利用中文期刊前4个刊名汉语拼音首字母检索刊名,是计算机快速检索中文期刊刊名的一条捷径.
袁国发副研究馆员.
通讯地址:石家庄市裕华东路186号,河北科技大学图书馆.
邮编050018.
杨莉英女,河北科技大学图书馆馆员.
通讯地址同上.
杨健河北科技大学图书馆助理馆员.
通讯地址同上.
袁立军石家庄乐仁堂医药经营公司工作.
通讯地址:石家庄市中山东路161号.
邮编050011.
(来稿时间:2001207213)—78—中国图书馆学报(双月刊)2002年第1期ZHONGGUOTUSHUGUANXUEBAO大,可以用某一学科领域的全部词汇检索.
人工语言系统虽也具有专指性,但它的词汇经过精选和压缩,专指性再高也比不上自然语言系统.
自然语言系统不需要复杂的主题分析、查找词表及标引等步骤,词汇输入速度比人工语言快得多.
特别是网络用户使用符合自己思维习惯的熟悉的自然语言肯定比使用复杂、生疏的人工语言方便得多.
使用传统检索语言面临的突出问题之一是新学科、新术语、新观点所形成的专业语词,人工词表还未编入,因此所连带的文献根本就检索不到;问题之二是传统检索系统在一个分类号、一个主题词下集中了数条记录,而且这些记录又不能按重要程度排列,增加了用户的脑力负担.
人工语言要更好地适应网络环境,必须进行易用化改造,走与自然语言相结合的道路.
其实不仅书目数据库,而且全文数据库都在呼唤必须有自然界语言参与的新型情报检索系统的诞生.
112浏览—检索式将是用户在网络环境中的主要检索行为大量社会终端用户的介入,使具有受控语言背景知识的专业用户比例急剧减少.
面对浩翰的信息资源,终端用户的检索行为发生了很大改变:以查全、查准为标准的检索观念正在淡化,源于传统检索系统的"提问检索式"行为逐渐被"浏览—检索式"行为所代替[2].
大量终端用户需要的信息不是已经确定的内容,也不能用规范的术语(如分类语词、主题语词)来表示,而是他尚未形成概念的情报.
浏览—检索是一种由意识到需求或兴趣所引起的行为,"是一门直到找到要找的东西之后才知道要找什么的艺术".
科学创新的手段之一也是用这种方式成就的.
灵感来自非线性思维,任何科研工作都不是刻板循序地进行,而是随机地展开.
人的思维方式具有非线性特征,它是在一个个新信息激励下自然地进行.
人工语言是人为规定的一线性或多线性情报检索系统,远远逊色于人脑灵活多变的跨越时空的思维.
全文数据库的大量出现给用户带来产生灵感的机遇,浏览—检索式自然成了他们首选的检索方式之一,用户熟悉的自然语言也就成了他们访问浩翰资源系统的入口.
新型情报检索语言系统就在这种环境中产生,它产生在人工语言与自然语言优势互补的交汇处.
在这个交汇处,产生自然语言与人工语言相结合的模式———第四种情报检索语言系统.
113用户的信息需求变化,渴望应用第四种情报检索语言系统计算机是集情报传递、情报处理、情报存储三种功能为一体的统一化终端,用户既不满足由专职人员替代检索的中介人模式,也不满足有用资料仅停留在复制阶段.
他渴求将信息的查寻、使用和再组织结合为一个过程.
人们希望情报检索语言不仅仅滞留在书目控制阶段,它应是一种能将知识再组织并产生新信息的超前系统.
它是一种与单一功能(如查找、复制)的规范化语言完全不同的模式,这种模式有自我学习的知识库(或称思想基因库)及完善的专家系统,第四种情报检索语言系统就有这方面功能.
自然语言的天生弱点是"无语义关联"、"无控制",达不到检全和检准的满意检索效率,这就需要大量编制自然语言与人工语言的对应表,自动对应转换.
对应词表编制得越细致,系统的智能程度越高.
大量编制对应词表,既改善了人工语言的滞后,也克服了自然语言的弊端.
至此,情报检索语言才有真正的发展:向易用化方向发展.
因此可以说第四种情报检索语言是21世纪网络环境中最理想的情报检索语言.
但现行的第四种情报检索语言是以自然语言词表的接口形式实现的,仅属于初级智能情报检索系统阶段.
本文重点阐述这种情报检索语言系统的机理、实例及其发展.
2第四种情报检索语言系统与网络信息检索系统随着Internet的发展,人们建立了许多Web站点来发布信息.
人们要求Web服务器能提供数据库信息,便于实际应用,因此,出现了许多的站点数据库访问技术.
用户可从浏览器中通过Internet查询、输入、更新和删除站点数据库的数据库信息,打破了Web服务器和浏览器的静态HTML模式.
Web服务器发布的内容是响应一个实时更新要求而动态产生的.
Web服务器动态产生页面的能力使得符合Web协议的终端用户受益.
开发者们能够写出运行在Web服务器上的程序去执行查询、更新数据库和其他任务.
程序运行完毕,便会把结果以HTML的形式传回给浏览器.
这种新能力使Internet的信息内容不断更新.
具有智能查询功能的网站,能自动联系到多个数据库服务器,将一个数据查询同时递交给多个数据库服务器,同时执行;或者自动选择适合的数据库服务器,执行查询操作.
在Web服务器和浏览器之间交换的始终是html页面,用户使用的浏览器并不直接访问数据库.
第四种情报检索语言系统可供终端用户使用,当然它是一种网络信息检索系统.
—88—第28卷第137期Vol.
28.
No.
137中国图书馆学报THEJOURNALOFTHELIBRARYSCIENCEINCHINA2002年1月Jan,20023第四种情报检索语言系统与智能情报检索系统智能情报检索系统主要有两方面的内容:一是数据库数据的编制质量,二是软件的自动化性能.
关于数据库数据的编制质量,本文指自然语言与人工语言数据的科学组织.
具体描述如下:专业人员编目建库时,使用的书目数据库结构有许多字段.
以题名、主题词和自由词字段为例,用户从主题词(主题词或自由词)出发检索书目文献,检索结果必定是与键入主题词相匹配的文献(一种或多种文献).
主题词与题名是一对一或一对多的关系.
若把这些检索词自动累积成词表,就显示出该情报检索系统的一定智能特性.
人工智能技术的一个重要方面就是建立在这种机读对应词表的基础上.
《军用主题词表应用管理系统》(EMT)能同屏显示6个机读词表,其实它们也是建立在词表对应关系的基础上.
一个数据库内部的对应词表编制得越多,越专业,表达概念之间语义关系就越准确细微,该情报检索语言系统的智能程度就越高,这是智能性的一个方面.
用户访问数据库,希望得到满意的检索结果,必须有软件系统的支持.
一切软件系统都是自动的,它有3个功能:对于查询操作的指导、建议;查询内容的显示;自动查找相关数据库,进行查询或同时对多个数据库进行查询.
转换程序是软件的一种,它是用户访问数据库的桥梁,并对数据的自动化操作表现了极高的智能性.
这是情报检索语言系统的智能性的另一个方面.
随着软件系统的发展,这种智能情报检索语言系统在向接近人脑思维模式方向发展,以至飞跃到完全基于知识表达的高级智能情报检索语言系统阶段.
4第四种情报检索语言系统与超级链接超级链接的应用是网络信息检索系统的特征.
第四种情报检索语言系统是一种基于网络的信息检索系统.
超级链接是指站点内不同网页之间、站点与Web之间的连接关系,它可以使站点内的网页成为有机的整体,还能够使不同站点之间建立联系.
超级链接由两部分组成:链接载体(源端点)和链接目标(目标端点).
许多页面元素可以作为链接载体,如:文本、图像、图像热区.
而链接目标可以是任意网络资源,如:页面、网站、E2mail、图像、声音、程序甚至页面中的某个位置———书签(即语词等).
这里仅简述超级链接与数据库检索有关的内容.
要对某个数据库进行检索,首先要在该网站的"查询页面"输入请求,随后就返回一个"查询结果页面",这个当前的记录显示页面是由Web服务器临时生成的.
显示这些内容的原理是:将数据库中符合查询条件的数据,利用转换程序自身的功能,即映射技术,在转换程序中映射成一个数据集,提交给Web服务器(以备用户服务浏览).
该页面所显示的所有数据中的每一个语词都是一个超级链接(由节点和链组成).
这个超级链接是软件人员在编制转换程序时设计的,不是数据库本身所具有,在数据库内也不存在节点和链.
目前,所有数据库都是以纯文本形式存在,没有超文本形式的数据库.
5固定代码是第四种情报检索语言系统的主体对词汇实施控制必须以概念为中心,通过识别概念之间的关系,建立一个与概念体系相对应的具有层次结构的术语体系,又称语义网络.
在这点上,第四种情报检索语言系统具有叙词语言的基本特征.
但第四种情报检索语言系统有一个显著的特点,即固定的概念代码是其主体.
代码是概念的惟一标识符,固定不变,始终与某一概念相对应.
在计算机内部,文献实际上是用这种代码来标引的.
这样,超级叙词表中的等级号、叙词、自然语言词都与该概念代码相对应,是概念代码的索引.
概念代码仅在系统内部使用,专业人员在编程和查检时尤其方便;但非专业人员在标引和检索时仍使用自然语言词.
采取这种措施,就使第四种情报检索语言系统的"知识库"有了极大的灵活性、时效性.
语词的随时增删改变不会影响系统的正常运行,也不影响用户使用.
第四种情报检索语言系统与张琪玉先生设计的新型情报检索语言系统"学科—事物概念组配型检索语言"极为相似[3],只是EMT和UMLS都是专业第四种情报检索语言系统,没有必要建立专门的分类体系.
而以侯汉清先生为首的一批情报科学家正在研制的以《中国分类主题词表》为核心的第四种情报检索语言系统[4],是在大型综合性的分类主题一体化语言系统的基础上,并有现成的分类体系.
因此,将编制成的我国第四种情报检索语言系统要完善得多.
6第四种情报检索语言系统实例研究—98—吕娟袁相琴:论第四种情报检索语言系统LüJuan,YuanXiangqin:OntheFourthinformationRetrievalLanguageSystem一种情报检索语言系统的检索效率,取决于它的宏观结构是由哪些种微观结构构成的,以及每一种微观结构的编制质量.
由于一些微观结构具有相同的结构原理和功用而可以应用于不同类型的情报检索语言系统,这就为情报检索语言系统的创造者留下了相当多的创造空间;又由于软件技术的发展,微观结构功能可以充分发挥.
目前的设计趋向是功能力求增多,而组成部分力求减少,甚至合而为一,即在一个系统中包含了较多的微观结构,其中包括自然语言词表.
并且各种宏观、微观结构通过超链技术和映射方式有机地网络在一起,成为比分类主题一体化情报检索语言系统更高级的新颖的第四种情报检索语言系统,达到在网络环境中理想的信息检索系统.
EMT和UMLS就是两个最典型的范例.
611《军用主题词表》应用管理系统《军用主题词表》应用管理系统(ElectromicMili2taryThesauriApplicationManagementSystem,EMT)是我国研制开发的具有国际领先水平的自然语言处理系统,它是在机读军用主题词表及其配套使用工具的基础上编制而成.
EMT是我国、也是世界上最大的一部系列化的《军用主题词表》应用管理系统.
61111EMT的主要技术创新(1)EMT对传统军用叙词表的体系结构进行了扩充和改革,在原11条基本款目数据项的基础上,增加了释义和词素项.
这样,主题款目的各基本数据项间构成了一个概念语义网络群,便于词素相似性匹配原理的实现[5].
(2)根据软件系统的映射技术,各索引表通过节点和链的定义又构成一张语义网,实现了EMT各部分词表语义关系互联显示浏览.
61112EMT的两个特色功能(1)由于《军用主题词表》的字顺表与其5个索引(范畴、词族、轮排、英汉对照、主题释义词典)的对应表编制完善,使互联显示浏览得以实现.
用户从词表的任一索引表的任一款目词入手,均可实现与其他各索引表的语义互联显示,一次得到所查主题词的全方位语义信息,加快了选词的速度,提高了选词的准确性.
(2)由于词素数据项的增加,使EMT中用自然语言标引和检索得以实现.
实现自然语言与受控语言的自动对应转换,是检索语言发展创新的关键环节.
EMT系统具有自然语言入口功能.
标引文献时,文献主题概念可全部用自然语言词自由表达.
若主题概念与词表中的叙词一致或词表中的入口词(同义词或被组代词)一致,都可立即自动转换成叙词,并自动将主题词登录入标引结果字段;若主题概念与词表中没有对应的叙词或入口词,该系统采用词素相似度模式识别转换技术.
即通过分析自然语言词与叙词所含词素的相似程度,自动选出与自然语言词语义相等或相近的叙词供用户选用.
EMT系统在实现自然语言词与叙词的词素相似度转换中,主要采用抽词与赋词相结合的解决方案,具体转换过程为:①根据转换知识库中的词素及词素同义关系,对自然语言词进行分词整形,产生对应的词素标注集合.
②利用转换知识库中叙词的词素标注集合,对自然语言词的词素标注集合进行集合运算,形成对应的叙词集合.
③根据自然语言词和叙词所含相同词素的个数、长度及位置特征(在词尾、在词首、在词中)进行对应转换计算,自动筛选推荐与自然语言词语义相同或相近的叙词,由用户验证后产生最终的叙词标引结果.
若系统对主题概念不能进行词素分析或所推荐的标引词均不合适,则可将主题概念作为自由词进行标引.
612一体化医学语言系统61211UMLS的规模一体化医学语言系统(UnifiedMedicalLanguageSystem,UMLS)又称UMLS知识源(UMLSKnowl2edgeSources),是由美国国立医学图书馆(NLM)主持、有多学科专家参与研制的一个自然语言处理系统.
它的主要部分是Metathesaurus(简称Meta).
Meta是以医学主题词表(WeSH)为核心(称原始概念)编制而成,其他词表和图谱都与WeSH的每个概念以一对一或多对一的方式对应、展开和延伸.
到1998年第9版超级叙词表包括有代表47万多个概念共1051903个词[6].
它们源于40多个生物医学受控词表、术语表、分类表、专家系统中的词汇、词典及工具性词表等,还包括不同语种、各种版本.
超级叙词表的词条信息非常丰富,仅词条款目的数据项就达88种.
情报源图谱包括71个情报源数据库.
数据库内的信息用影射技术把词和词间关系连接成语义网络,数据库间的信息用超链接组织成一个有机整体.
这是一个既满足终端用户需要,又满足广大非专业用户需要的第四种情报检索语言系统.
61212UMLS的语义网络UMLS的语义网络1998年版包括了132种语义类型和53种语义关系[7].
在网络环境中,Meta有用的主题词均定义为节点,节点之间为链路,使用非常—09—第28卷第137期Vol.
28.
No.
137中国图书馆学报THEJOURNALOFTHELIBRARYSCIENCEINCHINA2002年1月Jan,2002方便.
语义类型不仅是Meta微观结构的框架,而且也是Meta与情报源图谱的连接之一.
应用程序利用语义类型既可确定与一个特定用户提问具有的相关主题范围,也可从语义网络中查询有关信息,还可在情报源图谱中修饰检索提问,选择合适的情报检验源[8].
61213UMLS的代码在Meta的树形等级结构中主要有3种代码:(1)概念惟一标识符,即固定代码.
对于同一概念的不同术语以及不同的变异形式,Meta采用3级结构模式:概念(Ⅰ级),用惟一标识符CUI;术语(Ⅱ级),用惟一标识符LUI;词串(Ⅲ级),用惟一标识符SUI.
固定代码在计算机中很有用,使检索速度相当快,是第四种情报检索语言系统区别于传统情报检索语言系统的最显著特点之一.
(2)概念顺序号,如个体行为的顺序号为T055,它相当于USMARC的控制号,是在数据项进入数据库时系统自动分配的,不重复.
(3)概念等级号,它相当于一般叙词表的范畴号.
这等级号是Meta的分类表的简单化,叙词表的精细化,它实质上已经把分类表和叙词表合二为一.
这种超级叙词表模式既代表了叙词语言系统的发展方向,也体现了新型检索系统的特点即是以概念为中心,以惟一标识代码为主体的新型情报检索语言系统[9,10].
61214UMLS的智能检索功能GM是UMLS实现智能检索,并包含有MeSH文件的终端用户专用软件.
而IGM是其入口系统上的Web应用程序,通过NetscapeNavigator浏览器,充分发挥了Meta的智能检索功能.
(1)提问词自动转换.
当用户输入检索式时,均被自动与WeSH相比较:若为WeSH,就作为正式叙词进行检索;若为扩展的WeSH,就作为非叙词进行检索.
(2)自然语言词自动转换为较合适的WeSH.
若用户输入的是自然语言词,IGM迅速将其识别并联络图谱,查询WeSH,自动进行转换,并显示检索命中率.
(3)分析检索词,浏览建议词表,修改检索式.
(4)从自然语言词查询到相应的WeSH及其每一个概念的定义、树状等级结构,并与副主题或共同词组配检索[11],提高检全率.
UMLS的文本和图像中都有不可胜数的超链,完成相应的智能检索,例如每个副主题下都带有下画线,点击就可得到相应的帮助信息[12].
7第四种情报检索语言系统在我国有广阔的前景711以《中国分类主题词表》为核心的第四种情报检索语言系统是我国21世纪情报检索语言系统研究的方向第四种情报检索语言系统包括专业性的和综合性的两种,以上介绍的EMT和UMLS均属前一种,编制后一种比较困难.
原因是自然语言数量庞大.
但在我国,编制综合性的第四种情报检索语言系统已有良好的基础.
首先,有综合性的第三种情报检索语言系统《中国分类主题词表》机读版,其次是一批科学家正在研制其自然语言入口,正在走出可喜的一步.
《中图法》和《汉语主题词表》在国内有着"权威"标准的独特地位,有最广泛的影响和最众多的用户,实际上已经起到在不同程度上兼容各种专业分类表和叙词表的作用.
《中国分类主题词表》是《中图法》和《汉语主题词表》二者有机结合的一体化系统,并在我国推广应用近10年,《中国分类主题词表》属于集成词表兼容模式,易建立、易扩充和发展,而且适应面广.
为了在网络环境中发展,《中国分类主题词表》必须不断完善,目前最有效的措施是必须提供一个自然语言接口.
在这方面,以侯汉清为代表的一批情报科学家近几年撰文论述,亲自探索,取得了丰硕成果[13,14].
712汉语分词技术难题的进一步解决是加快我国第四种情报检索语言系统研究的关键计算机如何能够自动识别汉语自然语言词并把它们自动搜集起来编制成汉语自然语言词表,是一个急待解决却又是一个艰巨而漫长的系统工程.
目前专业性的抽词词典严重不足,综合性的更少.
只有大量编制专业性的抽词词典,化整为零,综合性的抽词词典才指日可待.
因此,以《中国分类主题词表》为核心的第四种情报检索语言系统是在其各个专业体系逐步完成情报检索语言自然语言化的基础上实现.
参考文献1刘湘生.
分类主题一体化是我国情报检索语言的发展方向.
北京图书馆通讯,1987(4)2许慧.
情报检索语言的发展及其在网络环境中新型体系的建立.
大学图书馆学报,1997(2)3张琪玉.
学科—事物概念组配型检索语言———关于情报检索语言的遐想与求索.
图书馆杂志,1997(2)—19—吕娟袁相琴:论第四种情报检索语言系统LüJuan,YuanXiangqin:OntheFourthinformationRetrievalLanguageSystem4侯汉清1建立以《中国分类主题词表》为核心的检索语言兼容体系.
见:北京大学图书馆.
21世纪大学图书馆的新使命.
北京:北京大学出版社,19985张琪玉.
一个优秀的叙词机助标引系统.
图书馆杂志,1999(1)6胡德华,方平.
一体化医学语言系统(UMLS)及其对我国情报检索语言的启示.
情报学报,2000,19(2)7,8,9方平.
试论一体化医学语言系统(UMLS)超级叙词表的特点.
图书情报工作,1998,17(10)10方平.
试论一体化医学语言系统语义网络的结构与特点.
情报学报,1999,18(2)11,12方平.
WEB网上IGM的工作程式与智能检索.
高校图书馆工作,1997(2)13张雪英,侯汉清.
分类表-叙词表转换系统的设计.
情报学报,2000,19(4)14张雪英,侯汉清.
叙词表词汇转换系统的设计.
情报学报,2000,19(5)吕娟兰州大学图书馆馆员.
通讯地址:甘肃兰州.
邮编730000.
袁相琴兰州大学图书馆副研究馆员.
通讯地址同上.
(来稿时间:2001205224)(上接第71页)和发扬了中华民族的优良品质,依靠自己的聪明智慧,克服了重重困难,最终成为推动图书馆和信息科学不断向前发展而不可缺少的重要力量.
正如美国前总统卡特向美国全体华人发表的《新春贺词》中所说:"历史悠久的中华文化,对于我们永远是一种启示;中国的艺术,使我们的生活更加丰富多彩;许多华裔同胞在活跃和加强我国社会生活方面做出了不可估量的贡献.
"参考文献1LiuMengxiong.
TheHistoryandStatusofChineseAmeri2cansinLibrarianship.
LibraryTrends,2000,49(1)2潘燕桃.
图书馆界之巨擎,海外华人之骄傲.
图书馆论坛,2000(5)3方雄普.
美国华裔名人剪影.
北京:东方出版社,19874黄端仪.
国际重要图书馆的历史与现状.
台北:台湾学生书局,19825图书馆学百科全书编委会.
图书馆学百科全书.
北京:中国大百科全书出版社,1993李健刚国家图书馆图书采编部工作.
通讯地址:北京中关村南大街33号.
邮编100081.
(来稿时间:2001206205)—29—