用户16210121210 赖海成 基于大数据和ALS算法实现的房源智能推荐系统

本科毕业设计论文

基于大数据和ALS算法实现的房源智能推荐系统Intelligent recommendation system based on big dataand ALS algorithm

毕业设计论文原创性声明

本人郑重声明所呈交的毕业设计论文 是本人在指导老师的指导下独立进行的设计研究工作及取得的成果论文中引用他人的文献、数据、 图件、资料均已明确标注出论文中的结论和结果为本人独立完成不包含他人已经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

毕业论文作者签字  签字日期 年 月 日

成绩评定

注毕业设计论文成绩按百分制评定。答辩成绩不及格的评分低于60分的 则该毕业设计论文总评成绩为答辩成绩。

内容摘要

目前现有的房源信息不够透明化大多中介混淆市场 内含不为人知的商业链。有经验的租客们会通过周边房价走势和走访周边房源对比调研、筛选适合自己的房源。

同时对于用户工作地点需求和各种人群类型如大学生群体年轻小资或者中年人他们希望居住的环境要求各不相同各类型条件限制这也加大了用户租房的难度。当今的租房市场并不够透传统的实体中介已经跟不上需求。文章将介绍传统的租房信息与移动互联相结合运用大数据收集各类房源信息聚合数据跨平台整合信息最后通过计算机软件开发相关技术开发出一款智能房源推荐平台推荐给用户。整个推荐系统目的就是为了解决item和us er的匹配问题本项目采用最经典的就是CF的方法本质上是构建user和item的特征表达你可以想办法用抽取特征的网络结构来提取这个表达形式也就是常说的emb edd ing方法。然后就可以直接用us er的emb和所有ite m的emb计算相似度按照相似度高低返回推荐结果。想办法构造巧妙的或者新颖的方式抽取特征最后选用现代化web框架Sp ring B o o t+Vue完成平台搭建

关键词房源推荐系统 ALS算法 大数据 数据采集

Abstract

At present, the existing housing information is not transparent enough.Most intermediaries confuse the market and contain unknowncommercial chains.Experienced tenants will use the surrounding housingprice trends and visit the surrounding houses for comparative research toscreen for suitab le houses.

At the same time,for the user's work place needs and various types ofpeople such as college students,young petty bourgeoisie,or middle-agedpeople, they want to live in different environmental requirements.Varioustypes of conditions and restrictions have also increased the difficulty ofus ers renting hous es.Today's rental market is not transp arent enough,andtraditional physical intermediaries can no longer keep up with demand.The article will introduce the combination of traditional rentalinformation and mobile internet,use big data to collect various types ofhousing information aggregation data, integrate information acrossplatforms, and finally develop a smart housing recommendation platformrecommended to users through computer software development relatedtechnologies. The purpose of the entire recommendation system is tosolve the matching problem between item and user. The most classicmethod used in this project is the CF method. Essentially, it is toconstruct the feature expression of user and item.You can find a way toextract this expression using the network structure of extracted features.Form,which is often referred to as the embedding method.Then you candirectly use the emb of the user and the emb of all items to calculate thesimilarity, and return the recommendation results according to thesimilarity. Find a way to construct ingenious or novel ways to extractfeatures, and finally choose the modern web framework SpringBoot+Vue to complete the platform construction.

Keywords:House recommendation system ALS algorithm Big datahouse platform

目录

第一章 绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1. 1项目的开发背景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2项目的开发目的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3项目的开发意义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.4国内的研究现状和发展趋势. . . . . . . . . . . . . . . . . . . . . . . . .1

1.5项目的设计思路. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

第二章 平台综述及相关技术选型介绍. . . . . . . . . . . . . . . .3

2. 1 Python简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

2.2 Scrapy爬虫框架简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

2.3 JAVA语言简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

2.4 Hbase简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.5本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

第三章 推荐算法介绍与平台推荐引擎实现. . . . . . . . . . . . 7

3. 1主流推荐算法介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

3.2协同过滤算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

3.2. 1基于模型的协同过滤. . . . . . . . . . . . . . . . . . . . . . . . . .7

3.2.2基于内存的协调过滤算法. . . . . . . . . . . . . . . . . . . . . .7

3.3系统中的推荐算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

3.4系统中的推荐引擎架构介绍. . . . . . . . . . . . . . . . . . . . . . . . .9

3.4. 1架构模块介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.4. 2基于房源用户画像的用户相似度计算方法. . . . . . . . 10

3.5本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

第四章租房推荐平台实现. . . . . . . . . . . . . . . . . . . . . . . . .12

4. 1系统功能模块的设计与实现. . . . . . . . . . . . . . . . . . . . . . . .12

4. 1. 1前台首页设计与实现. . . . . . . . . . . . . . . . . . . . . . . . .12

4. 1. 2分享小组设计与实现. . . . . . . . . . . . . . . . . . . . . . . . .13

4. 1. 3大数据个性化条件筛选房源功能. . . . . . . . . . . . . . .15

4. 1.4智能推荐房源功能. . . . . . . . . . . . . . . . . . . . . . . . . .17

4.2后台的设计与实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

4.2. 1后台登录页面. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

4.2. 2用户管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

4.2. 3房源列表信息. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.2.4城市分类列表信息. . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.3本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

第五章 结论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

参 考文 献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

致 谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

广东东软学院本科毕业设计论文

第一章绪论

1 . 1项目的开发背景

目前现有的房源信息不够透明化大多中介混淆市场内含不为人知的商业链。有经验的租客们会通过周边房价走势和走访周边房源对比调研、筛选适合自己的房源。

同时对于用户工作地点需求和各种人群类型如大学生群体年轻小资或者中年人他们希望居住的环境要求各不相同各类型条件我限制这也加大了用户租房的难度。随着城市化建设经济发展就业人群流动相较市场的庞大需求当今的租房市场并不够透传统的实体中介已经跟不上需求。文章将介绍传统的租房信息与移动互联相结合运用大数据收集查阅信息跨平台整合信息最后推荐给用户。

1 .2项目的开发目的

对于所有人来说衣食住行是我们在社会上生活的必需品在房价频频高涨的现在对于所有社会上打拼的人或者说所有踏入社会的年轻人来说都会参与到租房市场。

研究数据展示现在我国的租房人口数量约为2亿主要由流动人口和大学毕业生组成住房租赁市场为1.3万亿。 随着城市化进程的发展流动人口规模的不断增加为租住人口提供了基础。到2030年 国内有需要租房的需求将达到2.9亿人口市场规模将超过4亿人口

1 .3项目的开发意义

1基于用户协同过滤算法进行探索通过数据挖掘等前沿技术研究在Web端和移动端相关系统的设计与实现。

2为平台用户提供一个拥有多项功能的且具有良好数据可视化和友好交互的系统。

3对房源进行数据采集标记分析处理通过用户协同过滤相似度处理让房源推荐平台更加智能,更懂用户。

4给缺乏房源信息和需要租房的用户带来便利。

1 .4国内的研究现状和发展趋势

回顾国内外相关领域研究,学者们在丰富用户兴趣特征、构建协同过滤个性化推荐方面已经做了很多研究工作,协同过滤算法是当前推荐系统中应用最广泛的推荐算法从社交网络数据再到情景融入数据,基于此,本文在协同过滤方法的

1

广东东软学院本科毕业设计论文

基础上加上从不同网站爬取的数据进行系统设计通过爬取不同网站数据弥补协同过滤算法数据缺失问题。获取足够多的房源信息提取有效历史租赁成功信息和租房房源真实评价做出基本的房源地理位置区分商圈地铁主要核心公交站等 房价价格排序房类型排序等并且通过预测模型适合每一位独一无二的用户的优质房源推荐给用户选择同时记录下用户的选择信息不断补充数据中心的用户数据反复进行ALS运算这样就能在后期给所有用户推送出更优更符合用户群体的准确租房房源信息。

1 .5项目的设计思路

协同过滤算法是当前推荐系统中应用最广泛的推荐算法在互联网各个领域都有实际的应用价值如电影推荐短视频推荐电商商品推荐等等。这些场景大都可以通过一种基于用户的协同过滤算法去实现主要采集用户对这些Item的用户History与Action去计算用户之间相似度通过邻K算法去找到最近邻居通过设定参数比重预测对item的分值然后将分值最高的前x个项目返回给用户就完成了推荐行为。

一般来说用户对项目的评分能够较精准的反映用户对项目的喜爱程度而标签标注作为一种用户行为蕴含了用户对项目内容和属性的深入理解[4] 。文献

[5]通过对项目的标签进行简单的计数统计来求得用户对项目标签的偏好向量但是这种方法在计算用户对标签兴趣偏好时会出现热门标签权重较大的问题这样就导致了被用户选择过的稀缺标签很难给用户进行推荐造成权重偏差降低了推荐结果的准确性并且未能充分反映用户的兴趣偏好。针对以上问题本文引入TF-IDF的思想对用户的项目标签偏好进行计算。

TF-IDF是一种加权技术采用一种统计方法来评估某一个特征词在一个语料库中的重要程度[6] 。将其思想应用到用户偏好计算上若用户选择某个标签越频繁这个标签被选择的人数又越少并且这个标签在整个标签集中的占比越小则我们认为用户对这个标签的偏好程度越高。公式如下

由公式能够推出若一个标签选择人数较多且在整个标签集中的自身占比较高即热门标签则计算结果偏低若用户选择冷门标签相较于其他用户而言用户更关注此标签且该标签对于该用户的重要程度更高这样就能在一定程度上很好的区分和明确用户的偏好提高推荐准确率。

2