关键词百度关键词分析

第57卷第15期2013年8月基于词共现关系强度和关键词词频的叙词选词方法探究浦墨郑彦宁赵筱媛刘志辉[摘要]通过计算词共现关系强度,利用基于词共现关系强度和关键词词频的叙词选词方法确定数据通信领域的叙词候选词,并将其选词结果与基于关键词词频的选词方法选出的叙词候选词进行对比分析,结果显示:基于词共现关系强度和关键词词频的叙词选词方法选出的叙词候选词比基于关键词词频的叙词选词方法选出的叙词候选词质量更高.
[关键词]词共现关系强度关键词词频叙词候选词叙词表[分类号]G254.
243DOI:10.
7536/j.
issn.
0252-3116.
2013.
15.
019本文系国家社会科学基金项目"面向科技型中小型企业创新的技术竞争情报方法体系研究"(项目编号:12CTQ030)研究成果之一.
[作者简介]浦墨,中国科学技术信息研究所硕士研究生,Email:pumo2012@istic.
ac.
cn;郑彦宁,中国科学技术信息研究所研究员;赵筱媛,中国科学技术信息研究所研究员;刘志辉,中国科学技术信息研究所助理研究员.
收稿日期:2013-06-18修回日期:2013-07-09本文起止页码:121-125,49本文责任编辑:王传清1引言叙词,也称主题词,即经过规范化处理的,以基本概念组配方式表达文献主题的主题法类型[1].
自20世纪50年代末形成叙词法以来,随着叙词表的编制数量不断增长,叙词语言逐步发展成为受控检索的主要语种[2].
另外,叙词表的编制和维护也离不开收词这一基础性工作.
传统的叙词表通常采用手工收词方法,各类工具书、专业术语和专业词典以及名词委审定词汇等都是手工收词方法的主要来源.
随着网络和计算机技术的迅速发展,面向网络的收词方法也逐渐被探索利用,词的主要来源有:网络数据中的关键词、联网检字法词库、网络热点词、网络检索界面相关词显示、大众网站的标注词以及网络百科资源等.
由于网络数据库中的关键词由专业人员或者作者标引,能够表达文献主题概念的主题词或叙词,其标引质量比较高[3],故利用网络数据库中的关键词确定出的叙词候选词准确性比较高.
利用这种方法确定叙词候选词的常规做法是提取文献关键词,经过去重消歧,并舍弃如"研究"、"应用"、"设计"等通用词,主要考虑专业词词频,其中的高频词则可被视为叙词候选词[4].
一般认为,相关事物通常会同时出现,同时出现的事物往往也具有一定相关性[5].
两个或更多关键词在同一篇文献中同时出现称为关键词共现,共现的关键词之间必定具有一定的关系.
基于这种词共现关系的研究不论是在揭示相关性知识方面,还是在挖掘隐性关联知识方面都有重要实用意义[6-7].
在考虑词与词之间的共现关系强弱时,研究者们往往更关注同一篇文章中共现词汇一同出现的频次,并认为共现词汇在同一篇文章中共现的频率越高,共现词汇之间的关系就越强[8].
然而,在大量的专业文献中,会出现两个或两个以上的关键词一同在不同文章中共现频次也很高的现象,如在文献集合C中,会出现关键词A和关键词B、C、D…、Z等分别在文献B1、C1、D1…、Z1等中共现的情况,其中A与其他词汇共现频次的累加和会很大,即A与其他词汇共现的频次很高.
若根据文献中关键词之间的共现关系构建虚拟的关键词网络图,会发现关键词A处于关键词网络的某个局部网络的中心位置.
如图1所示:图1虚拟关键词网络图的局部图示根据社会网络的"中心性"描述,节点的重要性等价于该节点与其他节点的连接而使其具有的显著性[9],与该节点相连接的点的个数为该节点的度数,也称点度中心度.
点度中心度是一个点在网络中居于核121基于词共现关系强度和关键词词频的叙词选词方法探究浦墨郑彦宁赵筱媛刘志辉心地位的程度,刻画的是单个行动者在网络中所处位置的核心性[10].
一个节点的点度中心度越高,这个节点在网络中所处的位置就越核心.
若以上述的文献集合C为例,关键词A与其他不同关键词B、C、D等分别在B1、C1、D1等不同文章中都共现(见图1),关键词A处于中心位置,并具有较高的点度中心度,这说明关键词A是该词共现网络中相对核心的词汇.
也就是说,在虚拟的关键词网络中,通过关键词共现频次的不同,可以定量地确定某个关键词在共词网络中的地位,反映词与词之间的关系[11].
综上所述,在利用网络数据库中的关键词确定叙词候选词时,只参考关键词词频来确定叙词候选词的方法是不完善的,共现词汇之间的语义关系和词共现网络中词的点度中心度的大小等因素也应被考虑.
为此,本文定义了词共现关系强度的算法,即某一关键词与其他关键词在不同文献中共现频次的累加和,如果两个关键词同时出现在一篇文章中,则计数一次.
通过计算关键词词频和词共现关系强度,并利用基于词共现关系强度和关键词频次的叙词选词方法确定叙词候选词.
2数据与研究方法2.
1研究方法下面采用实例论证和对比分析的方法来验证上述理论的正确性.
具体实施步骤如下:2.
1.
1数据集的构建从网络数据库中按分类检索的方式检索目标专业领域相关文献,提取文献关键词,并对收集到的关键词进行词频统计、去重消歧和过滤通用词等数据清洗处理,去除如"管理"、"研究"、"对策"等没有研究价值或较具普适性的词汇,以确保数据集中的词汇独一无二、较具实用意义,进而确定专业词汇词频的降序排序.
2.
1.
2基于不同方法确定叙词候选词集基于关键词词频的叙词选词过程:综合考虑关键词出现频次、数据处理软件对数据量的限制条件及简化研究过程等因素,从数据集中选取适量的专业关键词作为高频专业词汇,即为基于关键词词频选出的叙词候选词集.
基于词共现关系强度和关键词词频的叙词选词过程:利用选出的高频专业词汇构建共词矩阵,进而计算所得高频专业词汇的词共现关系强度,并根据词共现关系强度的大小对高频专业词汇按降序排序.
然后,计算上述所有关键词的频次排序和词共现关系强度排序的算术平均值,并根据平均值的大小按升序排序,即得基于词共现关系强度和关键词词频的叙词候选词集.
2.
1.
3结果分析一方面,研究将采用专家评分的方法对上述选出的叙词候选词按其在相关领域的归属程度进行打分,并将专家打分的平均值定义为词汇的专业隶属度,进而根据专业隶属度的大小评价叙词候选词的优劣;另一方面,研究还将采用分区间对比分析的方法来比较两种方法的选词结果,以确定选词方法的优劣.
具体研究过程如图2所示:图2具体分析流程其中词共现关系强度的计算方法如下:Ri=fco-()red=CoFi1+CoFi2+…+CoFij+…CoFin即:Ri=∑n1CoFij(i≠j),其中,i表示在共词矩阵的横列或竖列中排序为i的关键词;j表示在共词矩阵的横列或竖列中排序为j的关键词;Rj表示词共现关系强度.
CoFij表示排序为i关键词和排序为j的关键词的共现频次.
2.
2研究数据2.
2.
1语料来源本文中所用的数据是在维普中文期刊数据库的文献中提取的,利用分类检索的方法检索出数据通信(TN919)领域相关的文献共28744篇,通过"自定义下载"的方法下载28744篇文献,提取其所有关键词,共10753个.
2.
2.
2确定词频排序本文处理数据所用的软件主要是CnkiRef.
首先,将收集到的关键词格式转换为CnkiRef软件可以处理的格式,然后,进行词频统计和去重消歧处理,删除通用词.
本文综合考虑关键词数、词频的大小以及简化研究过程等方面因素,选取了出现频次在14次及以上的关键词为研究对象.
专业词汇频次排序的部分内容如表1所示:221第57卷第15期2013年8月表1频次排序(top10)关键词频次排序排序关键词词频排序关键词词频1数据通信8416数据传输942多媒体通信2177通信713电子数据交换1498串行通信694FPGA1159数据通讯675单片机10310DSP602.
2.
3确定关键词的专业隶属度笔者以出现频次为14次及以上的83个关键词为评价对象,设计了通信领域专业词汇评分表,并将其发送给北京邮电大学和中国科学院电子学研究所的研究方向为通信的学者,请其按关键词在通信领域的隶属程度打分,最终回收的有效评分表共11份.
计算11位来自通信领域不同学者对每个关键词的评分平均值,确定83个关键词的专业隶属度.
部分关键词的专业隶属度如表2所示:表2关键词的专业隶属度(top10)关键词专业隶属度关键词专业隶属度关键词专业隶属度数据通信10数据传输9多媒体通信10通信10电子数据交换4串行通信9FPGA6数据通讯9单片机6DSP92.
2.
4构建共词矩阵以上述选定的83个关键词为分析对象,利用CnkiRef软件构建共词矩阵,并做归一化处理.
处理后的矩阵部分内容如表3所示:表3共词矩阵(top10)数据通信多媒体通信电子数据交换FPGA单片机数据传输通信串行通信数据通讯DSP数据通信10.
0392390.
0166470.
0059450.
0321050.
0273480.
0273480.
013080.
0011890.
010702多媒体通信0.
039239100000.
009217000.
004608电子数据交换0.
016647010000.
006711000FPGA0.
00594500100.
0347830000.
104348单片机0.
03210500010.
0679610.
0582520.
0873790.
0679610.
009709数据传输0.
027348000.
0347830.
06796110.
03191500.
0319150通信0.
0273480.
0092170.
00671100.
0582520.
03191510.
0140850.
0140850串行通信0.
013080000.
08737900.
01408510.
0144930.
057971数据通讯0.
0011890000.
0679610.
0319150.
0140850.
01449310DSP0.
0107020.
00460800.
1043480.
009709000.
057971002.
2.
5确定词共现关系强度排序利用前面所陈述的词共现关系强度计算方法,参照共词矩阵则可快速计算出每一个关键词的词共现关系强度.
如专业词汇"数据通信"的词共现关系强度的计算就是将其与其他关键词的共现频次依次相加,即"数据通信"与其他关键词共现的频次之和就为"数据通信"的词共现关系强度.
研究中计算词共现关系强度时,主要参照了做归一化处理后的共词矩阵.
专业词汇的词共现关系强度排序的部分内容如表4所示:表4词共现关系强度排序(top10)词共现关系强度排序排序关键词词共现关系强度排序关键词词共现关系强度1单片机0.
9544356IP0.
6164272PC机0.
9162387软件无线电0.
5922963ATM0.
8078938数据通信0.
5790734串行通信0.
6217899DSP0.
5706715GPRS0.
62058710数据传输0.
5556242.
2.
6综合两种排序,再次确定专业词汇排序计算上述所有关键词的频次排序和词共现关系强度排序的算术平均值,并根据平均值的大小按升序排序,排序部分内容如表5所示:表5关键词频次排序和词共现关系强度排序的平均值排序(top10)关键词频次排序和词共现关系强度排序的均值排序排序关键词频次排序词共现关系强度排序算术平均值1单片机5132数据通信184.
53串行通信8464数据传输61085DSP1099.
56ATM1639.
57PC机1729.
58数据通讯911109调制解调器131212.
510GPRS23514321基于词共现关系强度和关键词词频的叙词选词方法探究浦墨郑彦宁赵筱媛刘志辉3结果与分析无论是基于关键词词频确定叙词候选词还是基于词共现关系强度和关键词词频确定叙词候选词,都面临如何确定收词区间的问题.
以往的研究都是相关领域的专家凭借经验确定收词区间,具体如何确定收词阈值的大小尚无定论.
为了保证研究结果的客观性,研究采用专家评价和分区间对比分析的方法来比较两种选词结果,即分别比较基于两种选词方法所得叙词候选词集的前25%、前50%以及前75%三个区间内关键词专业隶属度的平均值大小.
3.
1基于关键词词频选出的候选词集在经过词频统计、去重消歧和弃除通用词等数据清洗处理的关键词中,选取出现频次在14次及以上的专业词汇作为基于关键词词频选出的叙词候选词,如表6所示:表6基于关键词词频选出的叙词候选词集序号关键词专业隶属度序号关键词专业隶属度1数据通信1043互联网72多媒体通信1044视频编码73电子数据交换445数据交换94FPGA646数据链75单片机647战术数据链76数据传输948高速数据通信107通信1049软件无线电88串行通信950控制系统89数据通讯951智能移动终端710DSP952GPS911H.
264753光耦512数据采集654接入网913调制解调器1055软交换814正交频分复用1056视频通信615计算机网络757因特网616ATM10583G1017PC机559USB618PLC660Windows319帧中继1061编码器620移动通信1062局域网721数字通信1063数据业务722通信协议1064数字信号处理923GPRS865运动估计824无线传感器网络766ASDL825无线通信1067SDH926串行通讯1068串行接口927Internet869嵌入式528小波变换870数字信号处理器1029OFDM1071通信网络10(续表6)序号关键词专业隶属度序号关键词专业隶属度30数据通信系统1072网络通信1031CAN总线773无线传输1032串口通信874机顶盒733嵌入式系统675计算机通信934通信网1076视频压缩635以太网977通信系统1036通信新技术1078卫星通信1037信道估计1079信息通信产业938RFID780预失真739通信技术1081远程通信940图像压缩882帧同步841IP983自适应842ISDN7---3.
2基于词共现关系强度和关键词词频两个因素选出的候选词集计算上述83个关键词的词共现关系强度,并按专业隶属度的大小降序排序,进而计算关键词的频次排序和词共现关系强度排序的算术平均值,根据平均值的大小按升序排序,即得到基于词共现关系强度和关键词频选出的叙词候选词集,如表7所示:表7基于词共现关系强度和关键词词频选出的叙词候选词集序号关键词专业隶属度序号关键词专业隶属度1单片机6433G102数据通信1044串口通信83串行通信945数据通信系统104数据传输946通信技术105DSP947视频编码76ATM1048无线传感器网络77PC机549远程通信98数据通讯950ISDN79调制解调器1051数据交换910GPRS852Windows311多媒体通信1053串行接口912FPGA654通信新技术1013数据采集655因特网614移动通信1056运动估计815串行通讯1057USB616PLC658战术数据链717通信1059ADSL818Internet860网络通信1019计算机网络761互联网720嵌入式系统762自适应821IP963数字信号处理922通信协议1064软交换8421第57卷第15期2013年8月(续表7)序号关键词专业隶属度序号关键词专业隶属度23无线通信1065数据链724H.
264766数字信号处理器1025软件无线电867卫星通信1026帧中继1068智能移动终端727以太网969视频通信628正交频分复用1070计算机通信929CAN总线771光耦530电子数据交换472数据业务731小波变换873局域网732RFID774视频压缩633图像压缩875编码器634接入网976无线传输1035OFDM1077通信系统1036信道估计1078机顶盒737控制系统879通信网络1038GPS980预失真739通信网1081帧同步840数字通信1082嵌入式541高速数据通信1083信息通信产业942ADH9---3.
3结果的对比与分析3.
3.
1候选词集排序前25%的关键词对比分析分别计算基于关键词词频和词共现关系强度以及基于关键词词频选出的叙词候选词集的前25%区间内的叙词候选词的平均专业隶属度,即分别计算表6和表7中序号为1至21这个区间内的叙词候选词的专业隶属度的平均值大小.
对计算结果进行比较可知:在这一区间内,基于词共现关系强度和关键词词频选出的叙词候选词的平均专业隶属度为8.
285714,比基于关键词词频选出的叙词候选词的平均专业隶属度(8.
238095)约大0.
048.
3.
3.
2候选词集排序前50%的关键词对比分析分别计算表6和表7中序号为1至42这个区间内的叙词候选词的专业隶属度的平均值大小.
比较可知:在这一区间内,基于词共现关系强度和关键词词频选出的叙词候选词的专业隶属度的平均值为8.
5,比基于关键词词频选出的叙词候选词的专业隶属度的平均值(8.
452381)也约大0.
048.
3.
3.
3候选词集排序前75%的关键词对比分析分别计算表6和表7中序号为1至63这个区间内的叙词候选词的专业隶属度的平均值大小.
比较可知:在这一区间内,基于词共现关系强度和关键词词频选出的叙词候选词的专业隶属度的平均值为8.
333333,比基于关键词词频选出的叙词候选词的专业隶属度的平均值(8.
047619)约大0.
286.
3.
4讨论从三组不同区间的关键词专业隶属度的对比分析结果可以看出:在叙词候选词集的前25%和前50%这两个区间内,基于词共现关系强度和关键词词频选出的叙词候选词的平均专业隶属度略大于基于关键词词频选出的叙词候选词的平均专业隶属度;在叙词候选词集的前75%这个区间中,基于词间关系强度和关键词词频选出的叙词候选词的平均专业隶属度明显比基于关键词词频选出的叙词候选词的平均专业隶属度大.
这说明:基于词共现关系强度和关键词词频来确定叙词候选词的方法是可行的,并且基于词共现关系强度和关键词词频选出的叙词候选词的专业隶属度明显比基于关键词词频选出的叙词候选词的专业隶属度高.
4结论本文提出一种基于词间关系强度和关键词词频的叙词候选词选词方法,通过实例论证和专家评价可知,基于词间关系强度和关键词词频选出的叙词候选词的平均专业隶属度比基于关键词词频选出的叙词候选词的平均专业隶属度大.
这表明,相对于基于关键词词频的选词候选词收词方法,利用基于词共现关系强度和关键词词频的叙词候选词选词方法可选出质量更高的叙词候选词.
限于时间和精力,本研究在计算关键词的专业隶属度时,仅参考了11位专家的评分,故所计算出的关键词专业隶属度在其普适性方面还有待改善.
研究使用的数据仅来源于较为单一的维普数据库.
另外,本文仅将单一的网络数据库中的关键词作为研究对象,若采用切词等技术对从多个数据库中检索、整合而得文献全文做切词处理,并将提取出的词汇作为研究对象,那么,基于词共现关系强度和词频大小确定叙词候选词的方法是否仍能选出更高质量的叙词对上述问题的解答,还有待进一步探究.
参考文献:[1]马张华.
信息组织[M].
北京:清华大学出版社,2008:187.
[2]曾建勋,常春.
网络时代叙词表的编制与应用[J].
图书情报工作,2009,53(8):8-11,16.
[3]鲍秀林,吴雯娜.
网络环境叙词表收词新来源刍议[J].
图书情报工作,2011,55(14):116-120.
[4]常春.
从"牛腿"谈概念术语的选择与词间关系建立[J].
情报杂志,2009,28(10):24-27.
(下转第49页)521第57卷第15期2013年8月参考文献:[1]张海涛,孙学帅,张丽,等.
商务网站信息生态系统构建与运行[J].
情报理论与实践,2012,35(8):1-6.
[2]曹凑贵.
生态学概论[M].
北京:高等教育出版社,2002.
[3]娄策群,周成聪.
信息生态链:概念、本质和类型[J].
图书情报工作,2007,51(9):29-32.
[4]韩刚,覃政.
信息生态链:一个理论框架[J].
情报理论与实践,2007,30(1):18-20.
[5]张向先,耿荣娜,李昆.
商务网站信息生态链的运行机制研究[J].
情报理论与实践,2012,35(8):17-20.
[6]张向先,霍明奎,孟楠.
商务网站信息生态位测度方法研究[J].
图书情报工作,2012,56(16):6-9.
[7]杨小溪.
网站信息生态链价值管理研究[D].
武汉:华中师范大学,2012.
[8]HackmanJR.
Thedesignofworkteams[Z]//LorschJ.
HandbookofOrganizationalBehavior.
EnglewoodCliffs,NJ:Prentice-Hall,1987:315-342.
[9]张自维.
信息系统效能评估的一种方法[J].
工业控制计算机,2004,17(9):26-27.
[10]苏怡.
城镇绿地生态网络的特征及其生态效能的关联性研究[D].
北京:北京林业大学,2010.
[11]杨保安,张科静.
多目标决策分析理论、方法与应用研究[M].
上海:东华大学出版社,2008:98-99.
EffectivenessAnalysisandEvaluationofNetworkInformationEcologicalChainZhangXiangxian1,2ShiHui1JiangYurong11ManagementCollegeofJilinUniversity,Changchun1300222InformationResourceResearchCenterofJilinUniversity,Changchun130022[Abstract]Effectivenessofthenetworkinformationecologicalchainisevaluatingitsoperationeffectandtherealizationdegreeofitsestablishedgoal.
Itisnecessarytoevaluatetheeffectivenessofthisnetworkinformationecologicalchainbeforeoptimizingandpromotingit.
Thispaperdevelopstheevaluationindexsystemofanetworkinformationecologicalchainfromfiveaspectsofitsstructuralcomponents,informationflow,operationcost,functionsvalueandsafeguardmechanism.
ThenitevaluatesitseffectivenessbasedontheAHPtheory,andgivessomesuggestionsonhowtoimproveitsefficiency.
[Keywords]informationecologynetworkinformationec欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟ologicalchaineffectivenessevaluation(上接第125页)[5]田红梅.
试论图书馆从信息服务走向知识服务[J].
情报理论与实践,2003,26(4):312-314.
[6]BlondelVD,SenelartPP.
Automaticextractionofsynonymsinadictionary[OL].
[2013-06-07].
http://pierre.
senellart.
com/publications/blondel2002automatic.
pdf.
[7]曹志杰,冷伏海.
文献隐性关联知识发现研究[J].
情报学报,2010,29(4):605-613.
[8]吴晓秋,吕娜.
基于关键词共现频率的热点分析方法研究[J].
情报理论与实践,2012,35(8):115-119.
[9]KnokeD,BurtRS.
Prominence[C]//BurtRS,MinorMJ.
AppliedNetworkAnalysis.
NewburyPark:Sage,1983:195-222.
[10]常树春,张东戈,周道安.
基于SNA的指挥控制关系及其中心性分析[J].
火力与指挥控制,2009,34(10):103-107.
[11]魏瑞斌.
社会网络分析在关键词网络分析中的实证研究[J].
情报杂志,2009,28(9):46-49.
AnExploringmethodofSelectingDescriptorsBasedontheRelationshipIntensityAmongCowordsandtheFrequencyofKeywordsPuMoZhengYanningZhaoXiaoyuanLiuZhihuiInstituteofScientificandTechnicalInformationofChina,Beijing100038[Abstract]Selectcandidatewordsofdescriptorsinthefieldofdigitalcommunicationbasedontherelationshipintensityamongcowordsandthefrequencyofkeywordsbycalculatingtherelationshipintensityamongco-words.
Thencomparetheresultwiththatjustbasedonthefrequencyofkeywords,showingthatthecandidatewordsofdescriptorsselectedbasedontherelationshipintensityamongco-wordsandthefrequencyofkeywordsarebetterthanthosejustbasedonthefrequencyofkeywords.
[Keywords]relationshipintensityamongcowordsfrequencyofkeywordscandidatewordsofdescriptorsthesaurus94