检索盘古搜索引擎

!
!
!
第$章基于搜索引擎的网络信息资源检索$"!
!
搜索引擎概述在!
"(0%"0(发展初期网络信息资源数量较少对信息资源的组织和查找相对比较容易随着!
"(0%"0(信息资源尤其是60V信息资源的爆炸式增长对庞大的网络信息资源进行有效的组织并提供快捷方便的检索利用就显得尤为重要搜索引擎就是为了解决这个问题而出现的一种网络信息资源检索工具如果说!
"(0%"0(上的信息资源犹如浩瀚的海洋中星罗棋布的小岛网页链接就是这些小岛之间纵横交错的桥梁而搜索引擎则为网络用户绘制了一幅一目了然的信息导航图目前搜索引擎已经成为!
"(0%"0(用户最主要的网络应用之一搜索引擎技术也成为计算机工业界和学术界争相研究开发的对象并处于快速地发展变化中下面就对基于搜索引擎的网络信息资源检索技术以及网络信息资源检索方法进行简要介绍$"!
"!
!
搜索引擎的概念及其功能!
"搜索引擎的概念!
!
在网络检索工具发展的初期基于分类目录的信息服务网站非常流行但人们一般只是把基于关键词检索类型的网站称为搜索引擎后来随着网络技术的飞速发展和搜索技术的日臻完善出现了一批为网络用户所广泛熟知和习惯使用的既具有分类目录查询功能又具有关键词检索功能的优秀中外通用搜索引擎但是任何搜索引擎的设计均有其特定的信息索引范围独特的功能使用方法和预期的用户群指向一种搜索引擎不可能满足所有人或某一个人所有的检索需求在某些情况下为满足深度检索信息的需要人们往往需要使用多种搜索引擎对搜索结果进行比较筛选和相互印证为解决逐一登录各搜索引擎以及在各搜索引擎中分别多次输入同一检索请求等烦琐操作问题又出现了集合搜索引擎和元搜索引擎现在人们已经将搜索引擎包括的范围放宽了很多搜索引擎30'%941"%或网络资源指南$E)%09($%H%!
是一种网站级的浏览式搜索引擎"它是由专业信息人员以人工或半自动的方式搜集网络资源站点信息!
且采取人工方式对搜集到的网站加以描述!
并按照一定的主题分类体系编制成一种可供浏览#检索的等级结构式目录$网站链接列表%"用户通过逐层浏览该目录!
在目录体系的从属#并列等关系引导下!
逐步细化来寻找合适的类别直至具体的信息资源"这类检索工具往往根据资源采集的范围设计详细的目录体系!
检索结果是网站的名称#网址链接和每个网站的内容简介"目录型搜索引擎所收录的网络信息资源都经过专业信息人员的鉴别#筛选和组织!
并且层次结构清晰#易于查找#导航质量高!
确保了检索工具的质量和检索的准确性"但目$#!
!
!
网络信息资源检索与利用$第版%录型搜索引擎的数据库规模相对较小!
对新兴学科#交叉学科和某些分类主题的内容收录不够全面!
同时只在保存的对网站的描述中进行检索!
检索范围非常有限!
且其系统更新#维护的速度受系统人员工作时间的制约!
更新不及时可能导致检索内容的查全率不高"目录型搜索引擎比较适合于查找综合性#概括性的主题概念!
或对检索的准确度要求较高的课题"#"索引型搜索引擎基于关键词检索的索引型搜索引擎是名副其实的搜索引擎"索引型搜索引擎也被称为机器人搜索引擎或关键词搜索引擎!
是一种网页级搜索引擎"它主要使用一个叫(网络机器人)$7$V$(%#(网络蜘蛛)$3B)/0%%或(网络爬虫)$,%';-0%8%的自动跟踪索引软件!
通过自动的方式分析网页的超链接!
依靠超链接和[O=X代码分析获取网页信息内容!
并采用自动搜索#自动标引#自动文摘等事先设计好的规则和方式来建立和维护其索引数据库!
以60V形式提供给用户一个检索界面!
供用户输入检索关键词#词组或逻辑组配的检索式!
其后台的检索代理软件代替用户在索引数据库中查找出与检索提问匹配的记录!
并将检索结果反馈给用户"索引式搜索引擎实际上是一个666网站!
与普通网站不同的是!
索引型搜索引擎网站的主要资源是它的索引数据库!
索引数据库的信息资源以666资源为主!
还包括电子邮件地址#用户新闻组#@OS#M$B40%等资源"索引型搜索引擎由自动跟踪索引软件生成索引数据库!
数据库的容量非常庞大!
收录#加工的信息范围广#速度快!
能向用户及时提供最新信息"但由于标引过程缺乏人工干预!
准确性较差!
加之检索代理软件的智能化程度不是很高!
导致检索结果的误差较大"索引型搜索引擎比较适合于检索特定的信息及较为专深#具体或类属不明确的课题"从搜索结果来源的角度!
索引型搜索引擎又可进一步细分为两种!
一种是拥有自己的检索程序$!
"/0>0%%!
俗称(蜘蛛)程序或(机器人)程序!
并自建索引数据库!
搜索结果直接从自身的数据库中调用+另一种则是租用其他引擎的数据库!
并按自定格式排列搜索结果"目录型搜索引擎与索引型搜索引擎在使用上各有长短"目前!
目录型搜索引擎和索引型搜索引擎呈现出相互融合渗透的趋势!
很多的搜索引擎网站也都同时提供目录和基于自动搜索软件的搜索服务!
以便于尽可能地为用户提供全面的检索服务和检索结果"如M$$(%!
甚至链接周围的文字!
所得到的结果是基于相关性!
也就是按照搜索的关键字在页面中出现的次数来排序!
相关度越高!
排序也会越靠前"$"!
"%!
搜索引擎的使用方法和技巧搜索引擎为!
"(0%"0(用户查找和利用网络信息资源提供了极大的方便!
用户只需输入几个关键词!
任何想要的资料都会从世界各个角落汇集到计算机前"因为搜索引擎会预先抓取到网上所有的数字化内容!
相当于建立了一个无所不包的大百科信息库"当然!
如果操作不当!
搜索效率也会大打折扣"例如用户本想查询某方面的资料!
可搜索引擎返回的却是大量无关的信息"这种情况的发生!
责任通常不在搜索引擎!
而是因为查询者没有掌握提高搜索精度的技巧"下面简要介绍一些提高检索效率的方法和技巧"!
"选用适当的搜索引擎搜索引擎有很多种!
工作方式也各不相同!
因而导致了信息覆盖范围方面的差异"进行任何搜索都仅使用某一个搜索引擎是不明智的!
每种搜索引擎都有不同的特点!
也有其局限性!
只有选择合适的搜索工具才能得到最佳的结果"因此!
使用搜索引擎的合理方式应该是根据具体的查询要求而选择不同的引擎"最常见的选择是使用基于关键词的索引型搜索引擎还是使用目录型搜索引擎的分类目录"一般的选择规则是*$L%如果要查找特殊性的内容或文件!
可以使用索引型搜索引擎!
如M$$H#搜狐#新浪#DB0"E)%09($%H#!
"#$800W#O40666U)(.
'-X)V%'%H#NQNXX!
5:#TDX30'%94#蓝帆等"!
"-.
/00/分类目录L%概述\'4$$/$4((B*--80'%942H'4$$29$&-/)%%是全球第一家提供!
"(0%"0(导航服务的网第章!
基于搜索引擎的网络信息资源检索%)!
!
!
站"最初的\'4$$/网站建立于LPPI年I月!
是由美国斯坦福大学电子工程系的Z0%%H\'"'9(S4%'80%#匹配其中任意一个关键词$T"H$#O40806$%/8%和排除所有关键词$5$"0$#O40806$%/8%输入框中输入关键词的方法对检索结果加以限制!
还可以从更新$QB/'(0/%#学科分类$,'(0H$4((B*--;;;2H29$&%"LPPC年I月!
M'-'>H由一个研究项目演变为商业实体!
并先后于LPPJ年和LPPP年被,HV0%M.
'%/公司和@$>-50;8公司收购"*+++年C月!
几经变故的M'-'>H终于成为自主独立的公司!
并对外开展分类目录检索服务"M'-'>H是!
"(0%"0(上较早按专题检索666信息资源!
提供全球信息服务的目录型网络信息资源检索工具之一"它允许用户通过在线填写表单的方式递交增补!
"(0%"0(网络资源的建议!
并允许任何一个用户为任何一个信息源#产品或服务提供简单的说明信息"由于M'-'>H采用人工的方式编制目录!
每个递交的Q7X地址均需要经过信息专家的分析#评审和提炼才会被纳入其检索系统!
因此!
目录分类细致#规范!
保证了收录资源的质量!
能够高效而快捷地满足用户的需求"但是!
一个站点被M'-'>H数据库收录往往需要花费较长的时间"M'-'>H将收录的网络信息资源划分为网站目录$60V8)(0E)%09($%H%#社区$,$&&.
")(H%#讨论$E)89.
88)$"%#事件$1F0"(8%#销售$@$%3'-0%#帮助$[0-B6'"(0/%#个人$S0%8$"'-8%#项目$S%$^09(8-1"H主页如图GI所示"*%检索功能M'-'>H提供分类目录浏览#关键词的简单检索和高级检索种检索方式"$L%分类目录浏览"M'-'>H以等级式分类目录的形式链接至!
"(0%"0(上的各类站%%!
!
!
网络信息资源检索与利用$第版%图GI!
M'-'>H主页点!
其主页面就是一个分类总目!
如图GI所示"在主页面上单击各个大类的名称链接!
进入二级分类目录页面"也可以直接单击主页上的二级类目名称链接!
进入二级分类目录页面"从二级类目开始!
同时显示子类列表和链接列表!
可以直接单击各式链接查看进一步的文本信息"$*%简单检索"在M'-'>H主页中的文本输入框中输入检索关键词!
并在其后的资源列表中选择查找的资源类型!
单击30'%94按钮!
即在指定的资源类型中进行检索"$%高级检索"直接单击M'-'>H主页上的30'%94按钮!
进入检索页面!
进一步单击检索页面中的$B()$"8链接!
打开如图GC所示的高级检索页面"高级检索页面提供一个检索表格!
其中的:0H8文本框供用户输入检索关键词!
关键词可以是词语#组配形成的词组或检索式"关键词可以利用前方一致检索!
也可以使用截词符检索关键词的各种变形+30'%946)(4)"下拉列表供用户选择查询的数据资源范围!
默认的是M'-'>H收集的所有页面+='(94#D%/0%NH和70(.
%"下拉列表供用户选择关键词的匹配方式#排序和每页检索结果的显示个数等"$I%结果显示"M'-'>H的检索结果按内容的相关度排序!
每条结果记录的内容包括资源的分类名称链接#简介#Q7X地址等"&"其他目录型搜索引擎网址介绍$L%M$29$&!
网址是4((B*--H高级检索页面$"#"$!
检索示例1例$,!
2!
利用新浪分类目录!
查找提供高考数学模拟试题的网站"具体检索步骤为*$L%通过新浪分类目录的网址$4((B*--/)%2)'8W29$&%进入新浪分类目录页面"$*%在分类目录中选择并依次进入各级类目!
依次为*(教育就业%考试与招生%高考%高考题库%高考模拟题库%数学)"$%本次检索共获得LC个相关记录!
都是与检索课题相关的网站链接!
单击其中任一记录中的网站名称链接!
可以进入该网站并浏览网站的详细信息"1例$,#2!
利用M'-'>H网站的分类目录!
查找提供X)".
>计算机操作系统软件产品和服务的网站"具体检索步骤为*$L%通过网址4((B*--;;;2H29$&进入M'-'>H网站主页!
在主页面上单击%'!
!
!
网络信息资源检索与利用$第版%60V8)(0E)%09($%H链接!
进入网站信息的分类目录页面"$*%在分类目录中依次选择N.
8)"088'"/,$&&0%90%M0"0%'-S%$/.
9(8'"/30%F)908%,$&B.
(0%%3$#(;'%0%DB0%'()""$%本次检索共获得L个检索结果记录!
都是有关提供X)".
>操作系统软件产品和服务的网站!
检索结果记录内容包括网站名称#主办单位#网址等信息"单击其中任一记录中的网站名称链接!
可以链接进入该网站并查看网站的详细信息"$"$!
索引型搜索引擎$"$"!
!
索引型搜索引擎的工作原理!
!
索引型搜索引擎的体系架构如图GR所示!
各部分相互交织#相互依附!
共同完成网络信息的采集#组织和信息查询服务"图GR!
索引型搜索引擎的体系架构图索引型搜索引擎的具体运行方式为*首先!
搜索引擎系统根据站点-网页的Q7X信息和网页之间的链接关系!
利用(网络蜘蛛)程序在!
"(0%"0(抓取网页!
并把抓取的网页送入(网页数据库)!
同时!
(网络蜘蛛)程序从抓取的网页中(提取Q7X)!
并把Q7X送入(Q7X数据库)+(蜘蛛控制)得到网页的Q7X!
控制(网络蜘蛛)继续抓取其他网页!
反复循环!
直到把所有的网页抓取完成"然后!
搜索引擎系统从(网页数据库)中得到网页的文本信息!
并将其送入(文本索引)模块建立索引!
形成(索引数据库)"同时!
(链接信息提取)模块从(索引数据库)中提取链接信息!
并把链接信息$包括锚文本#链接本身等信息%送入(链接数据库)!
为(网页评级)提供依据"第章!
基于搜索引擎的网络信息资源检索%(!
!
!
最后!
(用户)向(查询服务器)提交查询请求!
(查询服务器)在(索引数据库)中进行相关网页的查找!
同时(网页评级)把用户的查询请求和链接信息结合起来对搜索结果进行相关度的评价!
通过(查询服务器)按照相关度进行排序!
并提取关键词的内容摘要!
组织最后的页面返回给(用户)"下面进一步通过搜索器#分析器#索引器#检索器和用户接口等几个部分对索引型搜索引擎的信息采集#信息组织和信息查询服务工作过程进行详细介绍"!
"搜索器和分析器搜索器和分析器共同完成搜索引擎的信息采集工作"搜索器是一个常常采用分布式和并行处理技术来提高信息发现和更新效率的计算机程序!
它包括(网络蜘蛛)程序和(蜘蛛控制)程序两部分"(网络蜘蛛)程序的功能是在!
"(0%"0(中漫游!
发现并采集网页信息"(网络蜘蛛)程序从种子网页出发!
读取网页内容!
并通过自动查询网页上的超级链接和从网页文档中寻找未曾见过的Q7X来寻找下一个网页!
达到访问其他网页得以遍历60V的目的+(蜘蛛控制)程序在得到网页的Q7X后!
控制(网络蜘蛛)继续抓取其他网页!
反复循环!
直到把所有的网页抓取完成"分析器主要是对搜集器采集的网页信息或者下载的文档进行分析!
以用于建立索引"文档分析技术一般包括*分词技术$从文档中抽取词汇%#过滤技术$使用停用词表3($B-)8(%#转换技术$对词条进行单复数转换#词缀去除#同义词转换等工作%等!
这些技术往往与具体的语言以及系统的索引模型密切相关"搜索器和分析器的信息采集工作主要包括以下几个环节"L%网页抓取网络蜘蛛的网页抓取工作一般采取累积式抓取$,.
&.
-'()F0,%';-)"<%和增量式抓取$!
"9%0&0"('-,%';-)"<%两种策略"$L%累积式抓取"累积式抓取是指从某一个时间点开始!
通过遍历的方式抓取系统所能允许存储和处理的所有网页"在理想的软硬件环境下!
经过足够的运行时间!
累积式抓取策略可以保证抓取到相当规模的网页集合"但由于60V数据的动态特性!
集合中网页的被抓取时间点是不同的!
页面被更新的情况也是不同的!
因此累积式抓取到的网页集合事实上并无法与真实环境中的网络数据保持一致"$*%增量式抓取"增量式抓取是指在具有一定数量规模的网页集合的基础上!
采用更新数据的方式选取已有集合中的过时网页进行抓取!
以保证所抓取到的数据与真实网络数据足够接近"进行增量式抓取的前提是!
系统已经抓取了足够数量的网页!
并具有这些网页被抓取的时间信息"两种网页抓取策略并不是相互排斥的!
实际的网络蜘蛛的设计通常既包括累积式抓取策略!
也包括增量式抓取策略"累积式抓取一般用于数据集合的整体建立或大规模更新阶段+而增量式抓取则主要针对数据集合的日常维护与即时更新"*%新的Q7X链接的获取网络蜘蛛一般通过一个Q7X列表进行网页的自动分析与采集"起初的Q7X并不多!
但当网络蜘蛛分析到网页有新的链接时!
就会把新的Q7X添加到Q7X列表中以便&*!
!
!
网络信息资源检索与利用$第版%采集!
列表队列中记录所有将被访问的Q7X及访问顺序"网络蜘蛛从队列中抽取一个Q7X!
下载页面!
记录该Q7X所指[O=X文件中所有新的Q7X!
并将这些新的Q7X加入到列表队列中!
然后再以这些新的Q7X为起始点重复上述过程!
直到没有满足条件的新Q7X为止"网络蜘蛛设计是否合理将直接影响它访问60V的效率!
影响搜索数据库的质量"当然网络蜘蛛搜索网页的核心在于[O=X分析!
因此严谨的#结构化的#可读性强#错误少的[O=X代码!
更容易被网络蜘蛛所分析和采集"这也是需要推广60V标准的原因之一!
按照60V标准制作的网页更容易被搜索引擎检索和收录"%网页数据更新搜索引擎的网络蜘蛛一般要定期重新访问所有网页$各搜索引擎的访问周期不同!
可能是几天#几周或几个月!
也可能对不同重要性的网页有不同的更新频率%!
更新网页索引数据库!
以反映出网页内容的更新情况!
增加新的网页信息!
去除死链接"搜索引擎的网页自动更新策略分定期搜索和提交网站搜索两种"$L%定期搜索"定期搜索是每隔一段时间$例如M$$<-0一般是*K天%!
搜索引擎主动派出网络蜘蛛程序对一定!
S地址范围内的网站进行检索!
一旦发现新的网站!
它会自动抓取网站中的网页信息并将网址加入自己的数据库"$*%提交网站搜索"提交网站搜索即网站拥有者主动向搜索引擎提交网址"它是在一定时间内$*天到数月不等%!
搜索引擎定向向目标网站派出网络蜘蛛程序!
扫描目标网站并将有关信息存入数据库!
以备用户查询"由于近年来搜索引擎索引规则发生了很大变化!
主动提交网址并不保证自己的网站能进入搜索引擎数据库!
因此目前最好的提交网址的办法是使网站多获得一些外部链接!
让搜索引擎有更多机会找到自己的网站并自动将其收录"#"索引器搜索引擎不仅要保存搜集起来的网页信息!
为了快速查找到特定的信息!
搜索引擎还要将搜集的网页信息按照一定的规则进行分类整理!
建立网页索引数据库!
即将网页文档表示为一种便于检索的方式并存储在索引数据库中"索引型搜索引擎的信息组织及建立网页索引数据库的过程主要由索引器来完成"L%抽取索引项索引器的功能是由分析索引程序对搜索器采集回来的网页进行分析!
从中抽取出索引项!
用于表示网页文档和生成文档数据库的索引表"索引项有元数据索引项和内容索引项两种!
元数据索引项与网页文档的语意内容无关!
如作者名#网页所在Q7X#网页生成时间#更新时间#编码类型#大小#与其他网页的链接关系等+内容索引项用来反映网页文档的内容!
如页面内容包含的所有关键词#关键词位置#权重等"内容索引项还可以进一步分为单索引项$单词索引项%和多索引项$短语索引项%两种"*%建立网页索引数据库在搜索引擎中!
一般要给单索引项赋予一个权值!
以表示该索引项对网页文档的区分度!
同时用来根据一定的相关度算法进行大量复杂计算!
得到每一个网页针对页面文字中第章!
基于搜索引擎的网络信息资源检索&)!
!
!
及超级链接中每一个关键词的相关度$或重要性%!
然后用这些相关信息建立网页索引数据库"索引数据库的格式是一种依赖于索引机制和算法的特殊数据存储格式"索引算法对索引器的性能有很大的影响"索引器可以使用的算法有集中式索引算法#分布式索引算法等"索引$索引表%是网页索引数据库的核心!
它一般以倒排的形式记录索引项以及索引项在网页文档中的出现位置!
供用户由索引项查找相应的网页文档"索引的建立方法对搜索引擎来说具有很大的影响!
一个好的索引能提高搜索引擎系统运行的效率以及检索结果的质量"可以说索引技术是搜索引擎中的核心技术!
是搜索技术高低的集中体现!
涉及文本分析#网页结构分析#分词#排序等技术!
其中!
文本分析技术是索引器的主要支撑技术!
它所研究的内容包括提取索引项#自动摘要#自动分类器#文本聚类等"文本分析所依据的主要是文本中所包含的词汇#超文本标记和超链接"$"检索器检索器的功能是根据用户的查询请求在索引数据库中快速检索出网页文档!
进行文档与用户查询的相关度评价!
对将要输出的查询结果按照某种方法进行排序!
并将排序结果返回给用户以实现某种用户相关性反馈机制"检索器常用的信息检索模型有集合理论模型#代数模型#概率模型和混合模型等多种!
可以查询到文本信息中的任意字词!
无论这些字词出现在标题还是正文中"索引型搜索引擎通过程序收集并索引的信息资源量极其庞大!
而用户的查询请求却大多由几个词组成!
这种情况会导致获得的检索结果数量过于庞大!
用户无法快速获取所需要的信息!
因此!
建立高效的排序方法意义重大"不同的搜索引擎!
网页索引数据库不同!
排序规则也不尽相同"下面列出其中两种排序算法!
以供参考"$L%基于词频统计和词位置加权的排序算法"基于词频统计和词位置加权的排序算法是搜索引擎早期采用的排序技术!
其技术发展最为成熟!
应用也非常广泛!
至今仍是许多搜索引擎的核心排序技术"其基本原理是*关键词在文档中的词频越高!
出现的位置越重要!
则被认为和检索词的相关性越好"词频统计是指查询关键词在文档中出现的频率"关键词词频越高!
其相关度越大"词位置加权排序算法是把关键词在60V页面中出现的位置考虑进来!
通过对检索关键词在60V页面中不同位置和版式!
给予不同的权值!
例如在标题中出现的词比在正文中的词权值高!
进而根据权值来确定搜索结果与检索关键词相关程度"因此!
对于词位置加权排序算法来说!
页面版式信息的分析至关重要"可以考虑的版式信息有是否是标题!
是否为关键词!
是否是正文!
字体大小!
是否加粗!
等等"$*%基于超链接分析的排序算法"传统情报检索理论中的引文分析方法是确定学术文献权威性的重要方法之一!
即根据引文的数量来确定文献的权威性"因此可以利用页面中的链接来对文档的重要性进行判断!
例如S'<07'"W方法和T.
(4$%)(H'"/[.
V方法"M$$<-0所采用的S'<07'"W即借鉴了这一思想"S'<07'"W的发明者把引文分析思想借鉴到网络文档重要性的计算中来!
利用网络自身的超链接结构给所有的网页确定一个重要性的等级数!
以此来帮助实现排序算法的优化"但这种算法存在着偏重旧网页