偏好视频搜索引擎

第59卷第11期2015年6月基于机器学习的高校图书馆用户偏好检索系统研究沈敏1杨新涯1王楷21重庆大学图书馆重庆4000442重庆大学自动化学院重庆400044摘要:[目的/意义]针对大数据环境下高校图书馆检索系统的信息超载问题,提出一种机器学习方法,为用户提供个性化的偏好检索服务.
[方法/过程]通过提取用户检索行为大数据中的用户特征,利用监督机器学习方法,在线学习可随用户偏好同步变化的自适应检索模型,预测用户对文献的选择概率,优化检索结果的排序.
[结果/结论]设计出用户偏好检索原型系统,介绍用户偏好检索系统工作流程,对比分析系统效果,并对系统进行客观评价.
关键词:机器学习高校图书馆用户偏好偏好检索分类号:G250DOI:10.
13266/j.
issn.
0252-3116.
2015.
11.
020本文系国家社会科学基金项目"智慧图书馆理论与系统实践研究"(项目编号:13XTQ009)研究成果之一.
作者简介:沈敏(ORCID:0000-0001-5650-5428),馆员,硕士,Email:smin@cqu.
edu.
cn;杨新涯(ORCID:0000-0002-5267-4993),研究馆员,博士;王楷(ORCID:0000-0002-0788-561X),讲师,博士.
收稿日期:2015-05-06修回日期:2015-05-19本文起止页码:143-148本文责任编辑:刘远颖1引言随着网络技术、云计算技术、数据库存储技术、移动互联网技术在高校图书馆中的深入融合应用,高校图书馆的馆藏文献越来越丰富,用户访问频率越来越高,积累的各类数据量越来越多,高校图书馆已经进入大数据时代[1].
智能分析、挖掘大数据中蕴含的知识,将会极大地释放其"大价值",为用户提供个性化、专业化服务,构建更加完善的高校图书馆大数据生态系统[2].
文献检索是高校图书馆的一项重要职能,是其服务用户的一种主要方式,也是用户开展科学研究工作、撰写论文的一种必要手段.
虽然高校图书馆的文献检索方式已由传统的手工检索转变为计算机检索,但是在大数据环境下,以"关键词匹配"为主要运算方式的计算机检索无法满足海量用户的多样化检索需求[3].
笔者以"在线学习"为关键词在重庆大学图书馆中文发现系统中进行检索,得到25718条检索结果,即使加上"时间范围、文献类型"等检索策略,检索结果的信息超载现象依然严重,要在如此海量的检索结果中迅速找出满意的文献,犹如大海捞针.
同时,随着笔者对文献偏好发生变化,当使用相同关键词再次检索时,不得不再次花大量时间对海量检索结果进行重新筛选.
据重庆大学图书馆对过去3年数字图书使用情况的统计显示,门户访问量以20%的速度逐年递增,2014年全年门户访问量达90.
3万次,文献下载量达1138.
2万篇.
访问规模的不断增加,使得图书馆平台积累的用户数据越来越多,这些海量数据都蕴含着丰富的用户特征,如果能提取并利用该特征建立用户的文献偏好模型,将有助于实现基于偏好的检索结果排序,用户找到满意文献的时间会大大缩短,图书馆个性化服务功能将得以最大释放.
同时,也为图书馆向用户提供个性化知识推荐服务打下基础.
本文将从高校图书馆用户检索行为数据中提取相关文献特征,基于在线监督机器学习方法,构建可随用户偏好同步变化的自适应检索模型,预测用户对特定文献的选择概率,为对检索结果中的文献排序提供依据.
2相关工作2.
1用户偏好检索用户偏好检索是信息检索领域的重要研究内容,在给定查询条件的基础上,通过分析用户行为特征挖掘用户偏好,为用户提供个性化检索结果.
目前关于用户偏好检索的主要研究有用户偏好学习方法、偏好算法、偏好框架和偏好模型等.
偏好学习方法是通过对用户检索的研究,总结出的快速掌握知识的方法.
341第59卷第11期2015年6月J.
S.
F.
Tan等提出了两种用户偏好自主学习方法[4];何军等提出了一种基于社交关系和影响力的在线社交网络用户兴趣偏好获取方法[5];史艳翠等在通过分析移动用户行为日志来判断移动用户行为是否受上下文影响的基础上,提出一种上下文移动用户偏好自适应学习方法[6].
偏好算法是一种对用户偏好检索的准确而完整的描述,代表着用系统的方法描述研究问题的策略机制.
BianJiang等提出了一种动态成对比较学习算法[7];桑艳艳等提出了一种语义关联树的查询扩展算法[8].
偏好框架是一个基本概念上的结构,用于解决或者处理用户偏好检索过程中的复杂问题.
K.
W.
T.
Leung等根据用户在网页搜索结果中的点击情况,提出了一种基于SVM的挖掘用户观念偏好的框架[9];T.
Mandl等提出了一种信息检索过程中长期持续学习用户偏好的框架[10].
用户偏好模型作为用户爱好、习惯等的表达形式,是保证推荐效用的基础[11].
L.
Marin等利用模糊集表征用户的偏好模型[12];胡雨成等提出了一种分层权重无向图用户偏好模型[13];陆伟等利用AOL日志,在词上下文分析基础之上,采用主题分析方法,再结合用户偏好,进行查询推荐建模[14].
从以上研究可以看出,各种机器学习方法正在逐渐应用于海量大数据中用户偏好特征的挖掘,进而提供满足用户偏好的检索结果.
当前,高校图书馆也正在与互联网、移动互联网深度融合,越来越广泛的用户群体希望在海量的馆藏中迅速找到自己理想的文献资料,而且这种需求越来越强烈,因此,如何借鉴当前其他行业挖掘用户偏好的经验,利用机器学习方法提取用户群的偏好特征,为用户提供更加良好的检索体验是各大高校图书馆管理者亟待解决的难题之一.
2.
2图书馆用户偏好检索图书馆用户偏好检索的研究将有助于提供基于偏好的检索结果排序,有效提高图书馆用户的检索满意度.
目前,针对图书馆用户偏好检索研究中,部分学者以问卷调查方式展开,如M.
Agosti等在由欧洲图书馆门户网站发起的TELplus项目中,通过问卷调研方式了解不同用户的阅读偏好,并以此为基础,设计开发新的数字图书馆门户平台[15];A.
P.
Mark等通过问卷调查的方式,研究分析了学生和图书馆工作人员使用图书馆资源的偏好[16].
有的学者通过对检索限定和检索结果的分析,构建用户的检索偏好模型,如A.
F.
Carlos通过技术根据检索结果与用户偏好的相关性,对数字图书馆的检索结果重新排序[17];M.
Bernadetta等基于动态统计分析文献检索系统中用户的偏好,调整图书馆用户检索模型[18];D.
Claus等基于用户的查询限制,动态创建智能图书索引结构[19].
有的学者通过对用户检索习惯的监督和对用户日志数据的分析,预测用户偏好,如LiMing等采用半监督机器学习框架结合传统文献检索方法,基于图书馆用户偏好的半监督学习,构建文献检索结构的排序模型[20];SunYang等通过分析一年中数字图书馆用户访问日志数据,测量用户偏好的变化,提出了一种用户未来偏好行为的预测方法[21].
综上所述,当前高校图书馆用户偏好检索方法主要以问卷调查、动态统计、查询限制、半监督机器学习等方法为主,对于读者用户偏好特征提取的准确性、实时性还有所欠缺,用户检索耗费时间较长,满意度不高.
因此,本文将基于机器学习方法,研究并构建在线监督学习读者用户偏好的技术框架,读者用户每一次访问图书馆门户,系统将从其在门户上的所有操作中提取偏好特征,并作为本次在线监督机器学习的样本,通过实时在线监督机器学习,与读者用户偏好的变化保持一致.
3高校图书馆用户偏好检索3.
1高校图书馆用户偏好检索技术框架本文面向高校图书馆的大数据资源,基于监督机器学习方法,机器学习用户检索过程中的偏好模型,为用户提供个性化的检索结果排序,大大提高用户查阅文献资源的效率,图1给出了高校图书馆用户偏好检索的主要技术框架.
图1高校图书馆用户偏好检索技术框架如图1所示,高校图书馆用户偏好检索技术主要分为用户偏好检索模型机器学习过程和用户偏好检索过程.
首先,通过每一位用户的每一次检索过程,获取用户的检索行为,基于用户检索行为提取文献特征,偏好检索引擎将文献特征自主转换为具有用户偏好的个性化检索结果排序,用户即可通过偏好检索结果,快速选择满意的文献.
根据用户的选择结果,再次提取文献特征,构建用户偏好模型的训练样本,通过监督机器441沈敏,杨新涯,王楷.
基于机器学习的高校图书馆用户偏好检索系统研究[J].
图书情报工作,2015,59(11):143-148.
学习,机器学习用户的个性化偏好模型,实时更新到偏好检索引擎,为下一次用户的偏好检索做好准备.
3.
2用户偏好检索模型机器学习本小节主要采用数据的特征提取和监督机器学习方法,机器学习用户检索的偏好模型,实时更新偏好检索引擎.
其主要内容如下:3.
2.
1用户检索行为获取用户检索行为是指用户在一次访问图书馆检索系统期间,从输入检索词到从检索结果中选择满意文献所进行的一系列活动.
高校图书馆可以通过分析检索日志,获取与用户ID相关联的检索词及其选择的文献等.
例如,两位ID分别为"00001"和"00002"的用户分别利用"BigData"和"OnlineLearning"作为检索词在高校图书馆检索系统里进行查询,最终从检索结果中选择了"文献a"和"文献b与文献c",那么,我们就可以从检索日志中获取如表1所示的用户检索行为的样本数据.
表1用户检索行为的样本数据样本序号用户ID检索词检索结果选择0100001BigData文献a0200002OnlineLearning文献b0300002OnlineLearning文献c3.
2.
2文献特征提取及表达文献特征提取是进行用户偏好检索模型机器学习的前提和数据基础.
根据用户输入的检索词,从检索结果中按照式(1)、式(2)和式(3)所示,提取文献的特征空间集X:X=[x1,x2,x3]T.
x1={检索词与文献题名匹配的字数}(1)x2={检索词与文献摘要匹配的字数}(2)x3={检索词与文献关键词匹配的字数}(3)根据用户是否最终选择该文献,按照式(4),从检索结果中提取文献的另一个特征集y.
y=1用户最终选择了该文献0{用户最终没有选择该文献(4)基于以上文献特征提取方法,根据用户每一次的检索行为,可以将检索结果中的文献特征表达为式(5).
其中,t表示每份文献的第i个特征,j表示第j份文献.
由式(5)所表达的文献特征空间集能从不同角度反映文献与用户输入检索词之间的相似度,其也将构成用户偏好检索模型监督机器学习的训练样本集.
{(x(j)i,y(j))}={([x(1)1,x(1)2,x(1)3]T,y(1)),([x(2)1,x(2)2,x(2)3]T,y(2)),…}(5)3.
2.
3用户偏好检索模型监督机器学习为了提供具有用户偏好的个性化检索结果排序,需要在给定文献特征的条件下预测用户是否会选择某一特定文献的概率,如式(6)中的条件概率所示,X为基于用户检索行为的文献特征空间集,θ为概率模型的控制参数,其将随着用户偏好的改变而变化.
根据预测概率的高低对检索结果进行排序,其就能够反映用户的个性化偏好.
p(y=1|X;θ)(6)本文将利用监督机器学习方法对式(6)中的概率模型控制参数θ进行训练学习,以使概率模型能够实时反映用户偏好的变化.
基于逻辑回归监督机器学习的思想,定义用户选择文献的概率模型如式(7)所示.
其中,{x0=1,x1,x2,x3}为文献特征空间集,{θ0,θ1,θ2,θ3}为该概率模型的控制参数.
hθ(X)=p(y=1|X;θ)=11+e-(θ0x0+θ1x1+θ2x2,θ3x3)(7)为了对式(7)概率模型中的控制参数θ进行训练学习,定义训练学习过程中的优化目标J(θ)(代价函数),如式(8)所示.
其中,j表示训练样本的个数.
J(θ)=-1m[mj=1(y(j)log(hθ(x(j)))+(1-y(j))log(1-hθ(X(j))))](8)在优化目标J(θ)的引导下,采用梯度下降法对式(7)中的控制参数θ进行训练学习,将得到控制参数θ0,θ1,θ2,θ3的并行训练学习的迭代方法,如式(9)-(12)所示.
其中,α为学习率,可用于调整训练学习过程中每次迭代的步长.
θ0:=θ0-αθ0J(θ):=θ0-α1mmj=1(hθ(X(j))-y(j))(9)θ1:=θ1-αθ1J(θ):=θ1-α1mmj=1(hθ(X(j))-y(j))x(j)1(10)θ2:=θ2-αθ2J(θ):=θ2-α1mmj=1(hθ(X(j))-y(j))x(j)2(11)θ3:=θ3-αθ3J(θ):=θ3-α1mmj=1(hθ(X(j))-y(j))x(j)3(12)3.
2.
4用户偏好检索模型机器学习由于海量用户源源不断地登陆高校图书馆,检索查阅文献,高校图书馆将能够连续不断地获取用户的检索行为,日积月累,将会形成用户检索行为的大数据.
因此,本文将采用541第59卷第11期2015年6月机器学习的框架,从连续的用户检索行为数据流中在线提取文献特征,监督机器学习用户偏好检索模型,进而实时在线更新偏好检索引擎,最终生成与用户偏好变化保持一致的检索结果排序.
机器学习的算法流程如下:Repeatforever{从用户的一次检索行为中提取检索结果的文献特征(X(j),y(j))利用提取的文献特征,更新用户偏好预测概率模型的控制参数θθk:=θk-α1mmj=1(hθ(X(j))-y(j))x(j)k(k=0,1,2,3)}在用户偏好检索模型的机器学习过程中,一旦一位用户完成一次检索行为,该次检索行为将立即被用于提取文献特征,进而学习更新用户偏好预测模型的控制参数θ,之后该次检索行为数据将被丢弃,不再使用.
下一次的用户检索行为将会重复以上机器学习过程.
通过机器学习,将提高用户检索行为大数据的分析效率,同时,高校图书馆的用户偏好检索模型也将会与用户偏好的变化保持实时一致性.
3.
3用户偏好检索当经过机器学习的用户偏好模型更新到偏好检索引擎后,即可开展用户偏好检索.
在用户偏好检索过程中,用户输入的检索词将被按照式(1)、(2)、(3)提取检索库中所有文献的特征,基于提取的文献特征,偏好检索引擎将为每份文献预测其被当前用户可能选择的概率:p(y=1|X;θ),然后按照概率高低对检索结果进行排序,以帮助用户尽快找到自己满意的文献.
用户偏好检索示意如图2所示:图2用户偏好检索示意当用户完成在检索结果中的文献选择后,其整个检索行为将会被提取为文献特征,并作为其偏好检索模型机器学习的训练样本,实时更新其偏好检索模型.
4用户偏好检索系统检验4.
1用户偏好检索原型系统在高校图书馆用户偏好检索相关技术研究的基础上,笔者利用AxureRPPro设计了用户偏好检索原型系统.
图3为用户登陆后原型系统的检索界面,图4为用户检索结果界面,原型系统是用户偏好检索的显示效果系统,能向用户展示系统的完整功能和实现情况.
图3用户偏好检索系统检索界面图4用户偏好检索系统检索结果界面4.
2用户偏好检索系统工作流程4.
2.
1用户登陆用户首先通过NetID或者GuestID登陆图书馆检索系统门户,用户访问期间,所有检索行为数据将与其ID关联.
4.
2.
2偏好模型控制参数选择及配置在进行偏好检索之前,用户可以选择不同的偏好模型控制参数.
图5为偏好模型控制参数分类,主要分为个人偏好参数和团体偏好参数.
用户可以直接选择系统默认的用户自己偏好参数或者全体用户偏好参数;用户也可以通过申请批准后,选择其他个体用户偏好参数或者某个学术团体偏好参数.
系统将根据用户选择的参数,配置其偏好检索模型.
4.
2.
3用户偏好检索根据用户输入的检索词、选择的检索策略和偏好模型控制参数,系统将进行偏好检索,并对检索结果排序,通过浏览个性化检索结果,用户将选择下载自己满意的文献.
至此,用户的一次检索行为结束.
641沈敏,杨新涯,王楷.
基于机器学习的高校图书馆用户偏好检索系统研究[J].
图书情报工作,2015,59(11):143-148.
图5偏好模型控制参数分类4.
2.
4用户检索行为数据收集用户选择的个人偏好参数或团体偏好参数、用户检索历史、检索日志都是用户检索行为数据,利用数据库存储用户检索行为数据,以利于数据的分析.
4.
2.
5用户的区分用户偏好检索是在用户登陆的基础上实现的,用户登陆后,系统能分析出用户注册信息、历史偏好信息等基础信息,区别出不同用户的偏好,并在页面上显示出不同偏好用户的偏好检索界面.
4.
2.
6偏好检索模型机器学习当用户完成一次检索行为后,系统将从检索日志中读取用户的检索行为数据,机器学习当前用户的偏好模型,更新其偏好检索引擎.
同时,每位用户的检索行为数据也将被用于机器学习以全体用户作为整体的全局偏好模型.
另外,多位用户可以申请创建学术团体偏好模型,当该研究组中某一用户完成检索行为后,其检索行为数据也将被用于机器学习该研究组的偏好模型.
4.
3用户偏好检索系统效果及分析将上文提出的用户偏好检索与普通检索进行分析对比,基于检索的用户满意度、检索时间以及准确率和使用率,分析本系统的检索效果,两者的对比分析如表2所示:表2用户偏好检索与普通检索的分析对比对比项对比结果分析用户满意度用户偏好检索>普通检索本文用户偏好系统从用户每次检索操作中提取、在线学习、更新用户的偏好模型,机器学习的结果将反映用户最新的个性化需求,因此,用户对于检索结果的满意度将大大提高检索时间用户偏好检索普通检索由于用户对于文献资料的偏好随时都在发生变化,而用户每次检索过程的各种操作都能够反映这种变化,本文用户偏好系统采取在线机器学习方法,用户每次检索操作都作为其机器学习的训练样本,及时捕获用户偏好的变化,实时更新用户偏好模型,因此,本系统能够更加准确地反映用户偏好的变化,与用户偏好保持同步,其检索结果准确率将更高使用率用户偏好检索>普通检索由于用户使用本文偏好检索系统的体验更佳,用户在本系统中能够更加准确、更加迅速地找到自己满意的文献资料,因此,本用户偏好检索系统的使用率大大提高4.
4用户偏好检索系统评价(1)本文所研究的用户偏好检索系统能及时把握用户的偏好特征,突出反映用户的个性化需求,通过对其他用户或团队偏好的研究,可了解目前前沿研究领域,有效推动用户学术研究的开展.
(2)本文所研究的用户偏好检索采用的文献特征提取及表达方法相对比较单一,在后续研究中,将在特征提取过程中加入更多用户特征,全面反映用户偏好的文献特征,使得该系统的检索结果更加贴近用户偏好.
(3)将用户偏好检索融入高校图书馆OPAC系统中,为高校图书馆用户提供偏好检索平台,通过海量用户检索行为大数据不断对用户偏好检索系统模型进行机器学习和改进,以提供更准确有效的检索结果.
5结语随着高校图书馆步入大数据时代,如何从海量的用户数据中提取有价值的用户特征,进而向用户提供个性化服务成为现代高校图书馆的重要研究内容.
本文以高校图书馆用户检索行为数据为基础,探讨了用户特征提取方法,利用监督机器学习方法,在线学习可随用户偏好同步变化的自适应检索模型,预测用户对文献的选择概率,优化检索结果的排序.
最后,笔者基于上述方法开展了用户偏好检索原型系统的检验工作,通过调研,证实该系统具有准确性、同步性、共享性及推荐性.
在未来的研究中,笔者将进一步研究更加完善的用户特征提取方法,结合机器学习技术思考如何将该741第59卷第11期2015年6月系统推广到更大用户群的偏好检索应用中.
参考文献:[1]栾旭伦.
大数据环境下高校图书馆个性化信息服务系统研究[J].
图书馆学刊,2014(8):118-121.
[2]官思发,朝乐门.
大数据时代信息分析的关键问题、挑战与对策[J].
图书情报工作,2015,59(3):12-18.
[3]来红梅.
大数据时代图书馆信息服务面临的挑战与对策[J].
图书馆学刊,2014(3):91-93.
[4]TanJSF,LuEHC,TsengVS,etal.
Preferenceorientedminingtechniquesforlocationbasedstoresearch[J].
KnowledgeandInformationSystems,2013,34(1):147-169.
[5]何军,刘业政.
基于社交关系和影响力的在线社交网络用户兴趣偏好获取方法研究[J].
情报学报,2014,33(7):730-739.
[6]史艳翠,孟祥武,张玉洁,等.
一种上下文移动用户偏好自适应学习方法[J].
软件学报,2012(10):2533-2549.
[7]BianJiang,LongBo,LiLihong,etal.
ExploitinguserpreferenceforonlinelearninginWebcontentoptimizationsystems[EB/OL].
[2015-04-18].
http://dl.
acm.
org/citation.
cfmid=2493259.
[8]桑艳艳,刘培刚,李勇.
拟合用户偏好的个性化搜索[J].
情报科学,2008(8):1248-1251.
[9]LeungKWT,LeeDL,NgW,etal.
AframeworkforpersonalizingWebsearchwithconceptbaseduserprofiles[EB/OL].
[2015-04-18].
http://www.
cs.
ust.
hk/~wilfred/paper/toit12.
pdf.
[10]MandlT,WomserHC.
Aframeworkforlongtermlearningoftopicaluserpreferencesininformationretrieval[J].
NewLibraryWorld,2004,105:184-195.
[11]蔡淑琴,胡慕海,叶波,等.
情境化推荐中基于超图模式的用户偏好漂移识别研究[J].
情报学报,2011,30(8):802-811.
[12]MarinL,IsernD,MorenoA,etal.
Onlinedynamicadaptationoffuzzypreferences[J].
InformationSciences,2013,220(20):5-21.
[13]胡雨成,于俊清,黄贤强,等.
足球视频搜索引擎中的用户偏好挖掘[J].
中国图象图形学报,2014,19(4):622-629.
[14]陆伟,张晓娟.
基于主题与用户偏好分析的查询推荐研究[J].
情报学报,2012,31(12):1252-1258.
[15]AgostiM,CrivellariF,NunzioGMD,etal.
UnderstandinguserrequirementsandpreferencesforadigitallibraryWebportal[J].
InternationalJournalonDigitalLibraries,2010,11(4):225-238.
[16]MarkAP.
Studentpreferencesinlibrarywebsitevocabulary[J].
LibraryPhilosophyandPractice,2011(6):1-17.
[17]CarlosAF,RobertoW,RenatoF.
Customorderingondigitallibraryinformationretrieval[EB/OL].
[2015-04-18].
http://dl.
acm.
org/citation.
cfmid=1858505.
[18]BernadettaM,NgocTN.
Tuninguserprofilesbasedonanalyzingdynamicpreferenceindocumentretrievalsystems[J].
MultimediaToolsandApplications,2013,65(1):93-118.
[19]ClausD,JohannE.
Efficienttopkretrievalforuserpreferencequeries[C]//SAC.
Proceedingsofthe2011ACMSymposiumonappliedcomputing.
Taiwan:ACM.
2011:1045-1052.
[20]LiMing,LiHang,ZhouZhihua.
Semisuperviseddocumentretrieval[J].
InformationProcessingandManagement,2009,45(3):341-355.
[21]SunYang,LiHuajing,CouncillIG,etal.
Measuringuserpreferencechangesindigitallibraries[C]//CIKM.
Proceedingofthe17thACMConferenceonInformationandKnowledgeManagement.
California:ACM,2008:1497-1498.
作者贡献说明:沈敏:确定研究思路,撰写论文;杨新涯:提出论文修改建议;王楷:协助撰写论文之第三部分.
ResearchonUserPreferenceRetrievalSystemofUniversityLibraryBasedonMachineLearningShenMin1YangXinya1WangKai21ChongqingUniversityLibrary,Chongqing4000442SchoolofAutomation,ChongqingUniversity,Chongqing400044Abstract:[Purpose/significance]Fortheinformationoverloadproblemoftraditionalretrievalsysteminuniversitylibraryunderbigdataenvironment,anonlinelearningmethodisproposedtoprovideuserspersonalizedpreferenceretrievalservices.
[Method/process]Byextractingusers'characteristicsfrombigdataoftheirretrievalbehaviors,andthesupervisingmachinelearningmethod,thispaperlearnsanadaptiveretrievalmodelwhichcansynchronizechangeswiththeusers'preferenceonline,predictsusers'selectionprobabilityfortheliteratureandoptimizesthesortingorderoftheretrievalresults.
[Result/conclusion]Thispaperdesignsauserpreferenceretrievalprototypesystem,introducestheworkflowofuserpreferenceretrievalsystem,makesacomparativeanalysisontheeffectiveness,andobjectivelyevaluatesthesystem.
Keywords:machinelearninguniversitylibraryuserpreferencepreferenceretrieval841