搜索引擎评价指标体系比较研究

王静疆北京大学信息管理系北京100871摘要针对目前搜索引擎评价指标体系研究现状,在对国内外几个核心学者和国内若干篇较新文章的搜索引擎评价指标体系进行介绍,并对研究内容及其侧重点进行对比的基础上,总结当前我国评价指标体系研究的特点,提出对指标评价体系的发展展望.
关键词搜索引擎评价指标体系特点发展分类号G354.
4ComparativeStudyontheEvaluationIndexSystemsforSearchEngineWangJingjiangDepartmentofInformationManagemen,tPekingUniversityBeijing100871AbstractAccordingtothepresentstudies,thispaperintroducessomeimportantpapersonevaluationindexsystem,withcomparingthecontentsandfocusingontheresearches,thepaperthenpointsoutthefeaturesofthestudyonevaluationindexsystem.
Atlast,theauthordiscussesthefutureofevaluationindexsystem.
Keywordssearchengineevaluationindexsystemcharacteristicdevelopment收稿日期:2008-03-11修回日期:2008-04-28本文起止页码:136-138,116本文责任编辑:徐健1引言据CNNIC第21次中国互联网调查报告数据显示,中国目前2.
1亿网民中,经常使用搜索引擎的人数高达72.
4%,他们日常生活信息有70%以上是通过网络获得的[1].
在信息爆炸的今天,互联网海量信息需要经过筛选进入人们的视野,从传播学角度讲,需要一个信息把关人的角色,将海量信息分类、汇总、准确地传输到需求者面前;从网络功能讲,没有任何互联网工具比搜索引擎更适合这个角色了.
有需求,自然就会产生市场.
网络巨头纷纷把利润中心转向搜索引擎市场,除了google、baidu、yahoo!
等专业搜索机构,甚至连sina、sohu等门户也开始介入搜索引擎领域,一时间,搜索引擎成为网络经营公司的重要产品.
搜索引擎评价指标体系,为我们提供了一个了解、分辨、选择搜索引擎的学术标准,充分了解分析这个指标体系,是我们研究搜索引擎的首要条件.
2评价指标体系分析本部分主要对国内外几个核心学者的评价体系进行对比分析,并且结合若干篇较新的论文中的评价指标,讨论它们之间的区别和继承性,并总结当前搜索引擎评价指标体系研究的重点与不足.
2.
1Lancaster评价指标体系1973年,美国学者Lancaster和Fayen曾列出6项衡量信息检索系统的评价指标:覆盖范围、查全率、查准率、响应时间、用户负担和检索结果输出格式[2].
这是传统书目联机检索的评价指标,显然,他们当时无法考察目前复杂网络检索甚至搜索引擎的检索情况,但已经从技术以及用户需求方面给后来者们建立了一个基本框架,奠定了从技术和用户角度出发的搜索引擎评价指标体系发展方向,随后的许多评价体系都是按照这个脉络建立的.
这个评价指标体系从检索源、检索效果、检索输出以及用户使用角度考虑了信息检索系统可能的评价点,并强调了检索输出格式的重要性,这与书目联机检索特点是分不开的.
这套体系并未预料到若干年后网络条件下的检索源复杂度、检索技术多样性和用户要求,所提出的评价指标可以作为目前搜索引擎评价指标体系的基础评价指标.
2.
2HetingChu、MarilynRosenthal评价指标体系HetingChu、MarilynRosenthal在对AltaVista、Excite其标引的网页数量使其成为当时Web上最大的检索工具之一;检索功能丰富,提供基于概念扩展的自然语言检索技术.
应用概念检索技术,在处理检索词时使用了智能概念提取技术.
和Lycos三个搜索引擎进行比较研究之后提出应该从标引、检索能力、检索效果、输出和用户负担方面评价搜索引擎.
136评论论坛LIBRARYANDINFORMATIONSERVICEVo.
l52,No.
10,October,2008AltaVista、Excite的特点使得研究者注意到了搜索引擎检索中标引水平和检索能力的重要作用.
可以看出,搜索引擎评价指标体系的发展,是同搜索引擎技术的发展分不开的,随着搜索引擎检索能力的提高,其评价指标体系也开始逐步丰富扩展,直接针对核心新技术产生了相应的评价指标体系.
2.
3BarIla评价指标体系BarIla提出应从数据库覆盖范围、查询响应时间、用户所需努力和检索效果来评估搜索引擎的性能.
国外搜索引擎评价研究最主要的一个特点是强调人性化.
因此,他们在确定评价指标的过程中,在充分强调检索效率重要性的同时,常常把用户负担放在第一位[3].
与Lancaster评价指标、体系相比,这个指标体系没有本质的增加,但是将查全率以及查准率作为检索效果进行描述,是搜索引擎评价指标系统化思想的一个体现.
2.
4曾民族综合评价指标体系1997年,国内学者曾民族在综合国内外搜索引擎评价研究成果的基础上,提出了以下6类评价指标:数据库规模和内容、索引方法、检索功能、检索结果、用户界面、查准率和响应时间[4].
这套评价指标,是在考察当时网络信息资源特点、网络查询工具、www查询引擎、网络自动检索技术和Internet搜索引擎实例,并总结已有国外搜索引擎评价研究成果的基础上提出的,是对当时研究领域与搜索相关的各项技术指标的整合,具有较高的理论覆盖度和理论价值.
但是,因为目前没有搜索引擎可以做到集成最新索引、检索技术、用户服务,所以这套评价指标体系只能作为一个综合备选库,而实际对某些搜索引擎进行评价时,可以从这个指标库当中抽取需要的指标进行组合.
需要注意的是,曾民族对传统检索效果部分没有统一指明,而是在第六点的其他部分点出查准率和响应时间,是由其对目前网络条件下信息资源特点的分析所得出的.
曾教授认为:信息源分散、无序、更迭、消亡无法预测.
信息源的无政府状态迫使人们更改相关性判断的概念和标准.
用户无法判断网上有多少信息同自己需求有关,查全率等检索评价标准需要重新定义.
建立在目前网络信息源巨量化、分散、无序、不可预知的基础上,资源总量已经无法确定,所以查全率也就不得而知.
笔者认为,面对全网络的搜索引擎检索,查全率之说固然不现实,但许多专业领域搜索引擎评价中,查全率也是一个非常重要且实际的指标,鉴于曾教授对整个网络资源进行评价指标体系设计,不考虑查全率也无可厚非,但对于具体的搜索引擎实例,查全率理应成为评价指标体系的一部分.
2.
5宛玲等提出的10种评价指标体系宛玲等在试析中文搜索引擎的评价标准一文中,提出了10种中文搜索引擎的评价指标,分别是:收录信息范围、反馈的信息量及内容的准确性、反馈的查询结果错误率、报道与内容更新速度、检索性能、响应时间、检索界面友好性、精品推荐、与其他搜索引擎的友情链接、系统性能、点击率、附加功能等[5].
这套指标除包含数据库规模、检索性能、检索效果、用户界面等类型指标之外,还强调了精品推荐、与其他搜索引擎的友情链接、系统性能等与用户使用相关的方面,这是国内搜索引擎评价指标研究的一个提高,在领悟国外强调人性化的基础上,将用户使用体验列为搜索引擎评价的重要内容.
随着web使用技术的提高,web用户服务意识不断增强,其对搜索引擎的使用已经不简单局限在技术要求上,人性化要求也越来越多,精品推荐、友情链接等服务内容也开始出现,将其作为搜索引擎评价指标来研究具有很大的创新意义.
就这篇论文的评价指标体系来说,似乎有过于强调用户体验的嫌疑,前几种评价指标没有进行很好的体系构建,过于松散和用户化.
2.
6韩圣龙关于查准率的改进韩圣龙在网络信息检索工具评价指标一文讨论了网络信息环境下传统的信息检索评价指标体系遇到的困难,并在介绍相关性范畴和前X命中记录查准率概念后对查准率公式作了改进.
查准率仍旧是搜索引擎评价指标体系的核心,查准率的提高直接反映出搜索引擎的性能,仍旧是当今学者研究的热点[6].
文章结尾部分补充了对输出格式的灵活性、数据更新频率、链接的可靠性和用户界面友好程度4个方面的展望,也充分说明了当前学者对用户体验指标重视程度的提高.
2.
7刘伟成关于元搜索引擎评价的研究刘伟成在元搜索引擎性能评价体系研究一文中提出关于元搜索引擎一些主要性能的评价指标[7].
由于元搜索引擎不同于单个搜索引擎的特点,关注搜索范围和结果显示是元搜索引擎评价的一个重要方面.
元搜索引擎缓解了web数据的增长对单个搜索引擎索引网络数据收集速度的影响,在覆盖率方面有着明显的优势,评价元搜索引擎的搜索指标,覆盖范围必不可少.
从使用角度讲,元搜索引擎的搜索功能和效果特点不是非常突出,检索控制与提问功能则是需要注意的.
此外,检索结果的输出及用户界面是元搜索引擎评价的另外一个重点,对比单个搜索引擎来说,由于元搜索引擎没有非常强的核心技术,其用户体验评价变得重要起来.
3评价指标体系研究特点及发展从以上7种评价指标体系的介绍不难看出,搜索引擎评价指标体系的发展是一个指标内容逐渐丰富、指标性质逐渐137图书情报工作评论论坛第52卷第10期2008年10月商业化的过程,见表1.
表1七类评价指标体系时间(年份)名称主要内容1973Lancaster评价指标体系覆盖范围、查全率、查准率、响应时间、用户负担和检索结果输出格式.
1995HetingChu、MarilynRosenthal评价指标标引、检索能力、检索效果、输出、用户负担方面.
2002BarIla评价指标数据库覆盖范围、查询响应时间、用户所需努力和检索效果.
1997曾民族综合评价指标体系数据库规模和内容、索引方法、检索功能、检索结果、用户界面、查准率和响应时间.
2000宛玲等提出的10种评价指标体系收录信息范围、反馈的信息量及内容的准确性、反馈的查询结果错误率、报道与内容更新速度、检索性能、响应时间、检索界面友好性、精品推荐、与其他搜索引擎的友情链接、系统性能、点击率、附加功能等.
2001韩圣龙关于查准率的改进查准率、输出格式的灵活性、数据更新频率、链接的可靠性和用户界面友好程度.
2006刘伟成关于元搜索引擎评价指标搜索范围和结果显示、检索控制和提问功能、用户体验评价.
在众评价指标体系中,检索能力(查全率、查准率)、用户负担、检索结果都是作为核心指标出现的,是对搜索引擎基本功能的描述,代表了搜索引擎评价的最低要求.
用户体验评价是近年来搜索引擎评价指标发展的一个特点,在搜索引擎功能发展到一定阶段的同时,能否使用户获得优良的使用体验,成为目前搜索引擎商业化成功与否的重要评价指标.
总体来说,我国搜索引擎评价指标体系的发展,建立在综合国外研究成果的基础之上,并结合了我国搜索引擎的现状是综合并呈一定体系的发展过程.
一方面,沿用了国外评价指标发展重技术、重用户的特征,在体系建设具有全面、丰富的特点,形成了全面建设加专攻一面的发展格局;另一方面,显示了搜索引擎商业化发展对相关研究的影响.
精品推荐、点击率、附加功能、链接可靠性等评价指标的出现,要求研究者们更需要注重用户体验层次上的商业效益.
就目前发展状况来看,评价指标体系已经较为成熟,但还存在以下问题:3.
1技术主导目前国内学者的研究,多数是从检索性能和效果方面重点建立指标评价体系.
对搜索引擎检索功能的评价文章颇多,对检索效果方面也有更为深入的研究,而且日渐成熟.
查全率、查准率是技术评价的核心,如何能使搜索引擎全面、准确地反馈网络信息资源,将是长盛不衰的主题.
检索功能的特点越来越突出,内容越来越丰富.
从布尔检索、关键词判断到概念检索、上下文关键词的评价,反映了搜索引擎技术日臻成熟,其评价指标也越来越全面.
但随着技术的发展,搜索引擎的未来不得而知,所以检索功能评价指标也有着很大的发展空间.
3.
2系统化研究评价指标系统化、体系化是促进研究全面、健康发展的重要手段.
搜索引擎的评价指标之间是存在联系的,是一个和谐、功能互补的整体,关注他们之间的联系要比关注评价点本身更有意义.
搜索引擎评价指标体系的建立,主要遵循了从覆盖范围到技术核心,由检索结果到用户体验的信息传递流程.
在某个小范围的指标族当中,也有着很强的体系关系,研究这些体系关系,对于原有指标的修改、新指标的提出乃至整个指标体系的发展都有着重要的意义.
3.
3重视用户体验国外搜索引擎评价研究最主要的一个特点是强调人性化.
在确定评价指标的过程中,充分强调检索效率重要性的同时,常常把用户负担放在第一位.
随着用户服务意识的提高,关注用户负担已经远远不能满足用户使用搜索引擎的需求,还需要增加用户体验.
3.
4品牌评价有待提高笔者认为,在建立现阶段搜索引擎评价指标体系的同时,不妨引入品牌概念.
在经济高速发展的今天,搜索引擎已经不单单是一项技术研究,更是一款有着广大用户知名度的产品,品牌忠诚度、品牌美誉度完全可以成为搜索引擎评价指标体系的借鉴,毕竟,衡量搜索引擎产品的好坏,用户的评价才最关键.
品牌对于一个网络产品的作用是不言而喻的.
首先,品牌能够帮助搜索引擎吸引用户和保留用户,用户的使用和回馈又成为搜索引擎品牌积累的成本;其次,品牌效应能够使搜索引擎的地位得到提升,这已经不是搜索功能能够做到的了,一个好的搜索引擎的成长,不仅需要具备良好的搜索功能,更需要强势的业界地位,良性的压力才能促进其发展;再次,品牌是搜索引擎产品覆盖率的象征,随着社会经济化、产业化的发展,品牌的效用会越来越突出,一个成功的、强势的品牌也将成为搜索引擎评价的一项重要指标.
4小结技术、用户是计算机技术产品市场化始终需要面对的两个问题.
搜索引擎的发展,是从用户需要开始的,经历了长时间的技术研究,并最终实现搜索引擎产品,得到市场推广,接着,由推广效果得到改进意见,进而优化产品,再推广.
在这个过程中,搜索业界的学者开始对搜索引擎评价研究,目的是给搜索引擎的发展提供一套系统化、科学化的参考意见.
搜索引擎评价从搜索对象出发,历经搜索功能、搜索效果、搜索结果评价最终到达用户层面,这个过程,就是搜索引擎评价指标体系的基本框架.
可以说,现阶段搜索引擎评价体系已经颇为成熟,至少在短时间内,整个体系的提高多数只是小范围的修修补补和某个具体指标新技术出现所带来的评价指标的变化,搜索引擎评价指标体系的发展已经变得全面而趋稳.
(下转第116页)138评论论坛LIBRARYANDINFORMATIONSERVICEVo.
l52,No.
10,October,20087结语新的信息技术环境在给图书馆信息服务带来挑战的同时也带来了机遇,把握机遇,将使图书馆与用户之间的联系更加紧密,进而不断推动图书馆事业向前发展.
数字报纸项目的建设是中国国家图书馆在数字图书馆建设中的一个实践,还有许多需要进一步完善的地方.
我们将在2007年工作的基础上继续加大项目建设,扩展数据范围,努力将该项目建成国家图书馆的品牌工程.
数字报纸典藏项目是清华大学图书馆数字图书馆资源建设的重要组成部分,它不仅可以提供一般用户对数字报纸的浏览与检索,而且为专题资源加工奠定了基础.
同时,还可为报社搭建数据长期保存、展示的平台.
参考文献:[1]李郎达.
Metadata与数字典藏.
情报科学,2002(12):1263-1267.
[2]郁笑春.
论全文型文献数据库的评价标准及应用.
现代情报,2007(4):86-88.
[3]中国报纸数字化工作情况介绍IFLANewspapersSectionShanghaiLibraryChina2004.
[2007-11-15].
http://www.
ifla.
org/VII/s39/conf/Datum.
PDF.
[4]秦金聚.
数字信息保存元数据研究进展及启示.
情报理论与实践,2007(2):284-288.
[5]郭万召.
著作权法对图书馆报纸文献利用的影响.
江西图书馆学刊,2004(2):77-78.
[6]王少辉.
数字馆藏长期保存中的版权问题研究.
档案管理,2006(5):37-38.
[7]吴振新.
数字保存系统的技术策略分析.
现代图书情报技术,2006(4):8-13.
[8]NationalDigitalNewspaperProgram.
[2007-11-15].
http://www.
neh.
gov/projects/ndnp.
htm.
l[9]CastellslP.
Neptuno:SemanticWebTechnologiesforaDigitalNewspaperArchive.
[2007-11-15].
http://griho2.
ud.
les/publications/2004/heptunoesws04.
pd.
f[10]TowardaMetadataStandardforDigitizedHistoricalNewspapersNationalDigitalNewspaperProgram.
[2007-11-15].
http://grihoz.
ud.
les/publicacions/2004/heptunveswso4.
pd.
f[11]AustralianNewspapersOnline.
[2007-11-15].
http://www.
nla.
gov.
au/npapers/.
[12]ReviewofNEWSPLANProgramme,2002-2003.
[2007-11-20].
http://www.
b.
luk/aboutus/acrossuk/worknat/full/newsplan2000fina.
lPDF.
[13]MichaelDay.
DCCDigitalCurationManualInstalmentonMetadata.
[2008-02-23].
http://www.
dcc.
ac.
uk/resource/curationmanual/chapters/metadata.
[14]DublinCoreMetadataElementSet,Version1.
1.
[2007-12-13].
http://dublincore.
org/documents/dces/#ISO15836.
[15]MetadataObjectDescriptionSchema.
[2007-12-15].
http://www.
loc.
gov/standards/mods/.
[16]MetadataEncodingandTransmissionStandard.
[2007-12-14].
http://www.
loc.
gov/standards/mets/.
作者简介张炜,女,1973年生,副研究馆员,发表论文10余篇.
李春明,男,1965年生,副研究馆员,发表论文10余篇.
(上接第138页)搜索引擎,归根到底是为用户提供服务的,其评价指标体系的各个方面,都是试图给用户提供更好更优秀的检索结果.
如何能让用户更简单、更迅速、更准确的获取所需要的信息,才是搜索引擎评价的重点.
搜索引擎用户评价指标的发展,不仅仅要从系统功能和用户需求角度出发,还需要考虑社会化需求的各个方面,在结合搜索结果、用户需求和社会文化影响等层面的要求下做出合理的、系统化的用户评价指标.
参考文献:[1]第21次中国互联网络发展状况统计报告.
[2008-01-17].
http://www.
cnnic.
net.
cn/uploadfiles/pdf/2008/1/17/104156.
pd.
f[2]邰峻.
网络搜索引擎的评价与选择.
科学之友(B版),2006(2):85-87.
[3]朱庆华,杜佳.
搜索引擎评价指标体系的建立与应用.
情报学报,2007,26(5):684-690.
[4]曾民族.
网络信息检索现状和性能评价.
情报学报,1997(2):90-99.
[5]宛玲,杨秀丹,杜晓静.
试析中文搜索引擎的评价标准.
情报科学,2000,18(1):28-31.
[6]韩圣龙.
网络信息检索工具评价指标.
情报学报,2001,20(4):471-477.
[7]刘伟成.
元搜索引擎性能评价体系研究.
高校图书馆工作,2006,26(1):17-20.
作者简介王静疆,男,1983年生,硕士研究生.
116工作研究LIBRARYANDINFORMATIONSERVICEVo.
l52,No.
10,October,2008