论文总字数：20344字

摘 要

Abstract II

第1章 绪论 1

1.1 研究背景和意义 1

1.2 推荐系统国内外研究现状 1

1.3 研究内容和目标 2

1.4 本文组织结构 3

第2章 个性化推荐相关技术及理论 4

2.1推荐算法 4

2.1.1 基于内容的推荐 4

2.1.2 基于协同过滤的推荐 5

2.1.2.1 基于用户的协同过滤 5

2.1.2.2 基于物品的协同过滤 8

2.2 相关技术支持 11

2.2.1 MongoDB 11

2.2.2 Hadoop 11

2.2.3 Spark 12

2.2.4 Express.js 12

第3章 系统需求分析 13

3.1 需求概述 13

3.2 需求分析 13

3.2.1 电影推荐需求 13

3.2.2 用户端需求分析 15

第4章 系统设计与实现 17

4.1 系统架构 17

4.2 数据加载模块设计与实现 18

4.3 信息统计模块设计与实现 19

4.4 离线推荐模块设计与实现 21

4.5 Web前端模块设计与实现 22

第5章 总结与展望 23

5.1 本文总结 23

5.2 本文展望 23

参考文献 25

致 谢 27

摘 要

在大数据时代随着数据量的不断增长，产生了大量冗余数据，数据的增长无法阻挡，但增长的同时影响了用户在没有特定需求时浏览体验。因此，人们需要一个个性化的、较为准确的推荐系统，来为没有特定需求的用户推荐他们可能感兴趣的物品，从而实现用户、商家以及平台等多方的共赢。

本文开发了个性化电影推荐系统，系统推荐算法模块使用ALS协同过滤算法，算法对大量电影信息与用户评分信息进行分析，预测用户对未观看或已观看而未评分电影的评分，从而为每位用户个性化推荐可能感兴趣的电影。系统在开发过程中主要使用了Spark SQL作为数据容器，并使用Mllib的ALS对用户电影矩阵进行评分预测，这一定程度上解决了基于用户的协同过滤算法的冷启动问题，以及在前端的实现中，本文使用了Express.js框架来搭建，同时针对一些较为重要的步骤或模块，本文在系统设计与实现章节描述的较为详细。

论文研究了推荐系统在生产中的应用现状，在搭建过程中体会科学技术对推荐系统发展的推动作用，推荐系统在人们日常生活中真正带来的便利。

关键词：个性化推荐；电影推荐系统；ALS；推荐算法

Abstract

With the continuous growth of data volume in the era of big data,, a large amount of redundant data is generated. The growth of data cannot be stopped, but the growth also affects the user's browsing experience when there is no specific demand. Therefore, people need a personalized and more accurate recommendation system to recommend items that may be of interest to users who have no specific needs, so as to achieve a win-win situation among users, merchants and platforms.

In this paper, a personalized movie recommendation system is developed. The system recommendation algorithm module use ALS collaborative filtering algorithm, which analyzes a large amount of movie information and user rating information, and predicts the user's rating of movies that have not been watched or watched but have not been rated, so as to recommend movies that may be of interest to each user. During the development of the system, Spark SQL was mainly used as the data container, and Mllib's ALS algorithm was used to predict the user's movie matrix, which solved the cold start problem based on the user's collaborative filtering algorithm to a certain extent, and in the front-end implementation. This article uses the Express.js framework to build, and for some of the more important steps or modules, this article describes in more detail in the system design and implementation chapter.

This paper studies the current status of the application of the recommendation system in production. During the construction process, it realizes the role of science and technology in promoting the development of the recommendation system. The convenience that the recommendation system really brings in people's daily lives.

Key Words：Personalized recommendation；Movie recommendation system；Recommendation algorithm

第1章 绪论

在本章中，主要工作是讨论推荐系统的存在目的及意义、发展现状和本文的研究方向与目标，同时在最后会简要介绍后文的组织结构。

1.1 研究背景和意义

在信息时代数据正以惊人的速度产生，因此，网站的复杂性和规模也在增加，同时消费者可获得的产品和服务比以往任何时候都多。那么用户在这些网站中查找需要的信息变得更加困难的同时也消耗了大量的时间成本。这对于用户和商家等是很严重的问题，用户体验差会对商家或平台失去信心，从而失去流量。

信息过滤是从用户正在搜索或用户可能感兴趣的大型现有数据集中选择这些信息的过程^[1]。如果没有一个有效的策略，那么所有的信息过滤都需要由用户自己来完成，这对用户提升满意度以及商家或平台提升成交量都没有帮助，因此商家或平台以及用户都迫切需要一个能够根据用户模糊的需求个性化地为用户完成信息过滤的策略。

在这样的背景下，推荐系统应运而生。在任何系统或网站都可以使用这种方式。商家通过搜集用户已有行为所产生的数据信息，为每位用户推荐其感兴趣或可能感兴趣的项目，从而丰富用户的购物体验的同时，商家也能够抓住用户流量。

推荐系统是主动地从大量信息中找到用户可能感兴趣的信息的工具,核心问题是构建支持用户在线决策的系统，推荐个性化、匹配度高的产品或项目^[2]。推荐存在的基本意义是代替用户本人完成信息过滤，它根据用户的历史行为数据对不同项目进行预测，并将预测评分较高的为用户推荐。

个性化推荐系统可以解决信息冗余、过载问题^[3]，对用户来说，推荐系统帮助用户解决了如何从大量信息中找到自己可能感兴趣的信息。同时对商家来说，也解决了如何使自己的部分信息脱颖而出，受到用户的青睐。再加上对平台来说，也吸收了宝贵的流量，因此一个好的推荐系统是一个能使用户、内容提供方以及网站平台多方共赢的系统。

1.2 推荐系统国内外研究现状

纵观推荐系统的发展，在2012年以前，很多著名的推荐系统就已经涌现，如Amazon的个性化产品推荐、Netfix的视频推荐、Pandora的音乐推荐、Facebook的好友推荐和Google Reader的个性化阅读等^[2]。随着个性化推荐领域的不断发展，近年个性化推荐技术也逐渐成熟，对个性化推荐方向的研究也主要朝着实际应用的场景以及算法的改进方向。

在CNKI中检索主题为个性化推荐的中文文献，在计量可视化分析中可以很清楚地看到，自2006年的发表文献超过100篇以后的10年间，发表文献的数量在逐年增长，并于2018年发表数量达到最多的899篇，由此可以知晓，国内的个性化推荐系统的发展已经步入了稳定期，在研究层面已经小有成果。而应用方面，由于数据量和增长速度的不断攀升，造成了大量的、多种多样的数据，从而限制了在特定查询时能提供的相关信息^[4]，因此对个性化推荐的研究需求也与日俱增，国内对个性化推荐方面的关注与研究的投入也越来越多。

在如今，推荐系统应用已经十分广泛，但开发一个能够提供良好推荐和改进推荐系统的推荐性能对开发者来说仍是一个挑战^[5]。

1.3 研究内容和目标

推荐系统是一门交叉学科，覆盖了多个领域的知识，涉及数据挖掘、机器学习、神经网络、统计等^[6]。本文的目标之一是设计一个电影推荐系统，同时介绍一些在搭建系统时可能用到的技术，也是笔者在完成搭建电影推荐系统的过程中所学到或用到的，以便为其他读者提供建议或参考。

选择电影推荐系统的原因是，由于在用户综合评分可以近似的看做是推荐算法中会用到的偏好值，这就避免了在实际生产中对偏好值的计算问题，需要大量用户的多个维度的行为，所需的数据是很庞大的，同时在对用户行为的判断上会不客观等原因造成推荐结果的偏差。例如，对不同用户行为的权重是不同的，用户浏览某商品的时间多少与用户将某件商品加入了收藏夹，这两个用户行为所提供的用户对某件商品的偏好值显然是不同的，也很难用数值来表示。

而在电影推荐系统中，需要的数据仅仅是电影信息数据集、用户评分数据集以及电影标签数据集，并使用简单的统计算法就能够得到推荐算法所需的偏好值，从而得到每位用户个性化推荐的电影清单。

本文的第二个目标是讨论基于基于相似条目推荐和相似用户推荐的推荐性能和准确度。推荐系统如今已不是罕见的框架，但一个能够提供较稳定推荐且推荐结果有一定准确率的推荐系统，对平台以及开发者来说仍是一个不小的挑战，。因为无法确定用户的偏好是否稳定，这取决于很多维度，如时间、用户所处的场合、甚至用户的心情等，而推荐是否准确很可能影响用户是否会继续使用该平台或者应用程序，所以公司需要补偿这些可能产生的偏差，即不断比较不同的推荐策略，并按照适合自己平台的策略来改进。

1.4 本文组织结构

论文由五个章节组成，每个章节主要论述如下：

第 一 章为绪论，介绍了推荐系统的发展现状和本文的研究背景及意义，同时确定了本文的研究目标。

请支付后下载全文，论文总字数：20344字

相关图片展示：