摘 要

随着互联网和信息技术的迅猛发展，个性化推荐技术也在各个领域中取得了迅速发展。而个性化推荐技术迅速发展背后，也暴露了个性化推荐技术所面临的困境。推荐内容的日渐增多，使得如何在众多信息中匹配用户喜好并进行推荐成为研究热点。本文针对协同过滤算法在电影个性化推荐中的数据稀疏和推荐范围问题，对协同过滤算法进行优化，提出一些改进方案，以提高电影内容的推荐精度以及用户满意度。

本文先对个性化推荐技术的发展历程、框架流程及分类进行了详细的介绍，重点介绍了个性化推荐技术的核心-协同过滤推荐算法的工作原理及分类。传统的协同过滤推荐算法主要是基于用户和基于项目的协同过滤算法，本文介绍了它们的推荐流程以及各自的缺点。为了改善两种传统算法的缺点，本文提出了混合协同过滤推荐算法，该算法将两种传统算法相结合，在计算项目相似度时加入项目属性相似度作为项目的最终相似度。首先，建立用户-项目评分矩阵和项目属性的0-1矩阵；其次，利用基于项目的协同过滤算法填充用户-项目评分矩阵；再次，利用基于用户的协同过滤算法计算用户相似度以及预测评分；最后，产生推荐。

本文利用python语言，设计两种传统的推荐算法和混合协同过滤算法，以MovieLens数据集作为实验数据，完成了两个对比实验以及关于权重因子的灵敏度分析。实验结果表明本文中的混合协同过滤算法确实能够有效提高推荐精度，并证明了本文的研究内容具有可行性和一定的现实意义。

关键词：协同过滤；个性化；混合推荐；项目属性相似度

ABSTRACT

With the rapid development of the Internet and information technology, personalized recommendation technology has also developed rapidly in various fields. Under the rapid development of personalized recommendation technology, it also exposed the dilemma faced by personalized recommendation technology. The increasing number of recommended content makes it a research hotspot to match user preferences and recommendations among many messages. In this paper, the collaborative filtering algorithm is optimized for the data sparseness and recommendation range of the collaborative filtering algorithm in movie personalized recommendation, and some improvement schemes are proposed to improve the recommendation accuracy and user satisfaction of movie content.

This paper first introduces the development process, framework process and classification of personalized recommendation technology, and introduces the working principle and classification of the core of collaborative recommendation technology. The traditional collaborative filtering recommendation algorithm is mainly based on user and project-based collaborative filtering algorithms. This paper introduces their recommendation process and their shortcomings. In order to improve the shortcomings of the two traditional algorithms, this paper proposes a hybrid collaborative filtering recommendation algorithm, which combines two traditional algorithms and adds the project attribute similarity as the final similarity of the project when calculating the project similarity. Firstly, the user-item scoring matrix and the 0-1 matrix of the project attributes are established; Secondly, the user-item scoring matrix is ​​populated by the project-based collaborative filtering algorithm; Thirdly, the user-based collaborative filtering algorithm is used to calculate the user similarity and the predicted score; Finally, a recommendation is produced.

In this paper, two traditional recommendation algorithms and hybrid collaborative filtering algorithms are designed by using Python language. Two comparison experiments and sensitivity analysis of weighting factors are completed with MovieLens data set as experimental data. The experimental results show that the hybrid collaborative filtering algorithm in this paper can effectively improve the recommendation accuracy, and prove that the research content of this paper is feasible and has certain practical significance.

Keywords: collaborative filtering; personalization; hybrid recommendation; project attribute similarity

目 录

第1章 绪论 1

1.1研究背景及意义 1

1.2相关研究文献综述 2

1.2.1个性化推荐系统的研究现状 2

1.2.2协同过滤算法的研究现状 3

1.3研究内容及研究方法 3

1.3.1研究内容 4

1.3.2研究方法及技术路线 4

1.4本章小结 5

第2章 个性化推荐系统 6

2.1个性化推荐系统概述 6

2.2个性化推荐系统分类 7

2.3 本章小结 8

第3章 基于协同过滤的推荐 9

3.1协同过滤推荐的工作原理 9

3.2协同过滤推荐分类 9

3.2.1 基于内存的协同过滤推荐 9

3.2.2 基于模型的协同过滤推荐 10

3.3 基于用户的协同过滤推荐 10

3.3.1 用户行为的表示 10

3.3.2 邻居用户的选择 11

3.3.3 个性化推荐的产生 13

3.3.4 基于用户推荐的缺点分析 13

3.4 基于项目的协同过滤推荐 14

3.4.1 用户行为的表示 14

3.4.2 邻居项目的选择 14

3.4.3 个性化推荐的产生 15

3.4.4 基于项目推荐的缺点分析 15

3.5 基于用户-项目的混合协同过滤推荐 16

3.5.1混合协同过滤中改进的项目相似度的计算 16

3.5.2 基于用户-项目混合协同过滤的推荐原理 17

3.5.3 基于用户-项目混合协同过滤方法计算过程 17

3.5.4 混合推荐方法的优势分析 19

3.6 本章小结 19

第4章 基于混合协同过滤方法在观影个性化推荐中的应用 20

4.1数据采集与处理 20

4.2评价指标 21

4.3 实验步骤 22

4.4 实验结果分析 22

4.4.1 基于混合的协同过滤与基于用户的协同过滤方法比较 22

4.4.2 基于混合的协同过滤与基于项目的协同过滤方法比较 23

4.4.3 基于混合的协同过滤的灵敏度分析 25

4.5 本章小结 25

第5章 结论 26

5.1 本文工作 26

5.2 未来展望 26

参考文献 28

附 录 30

致 谢 41

第1章 绪论

1.1研究背景及意义

互联网的迅速发展带来了信息的爆炸式增长，同时互联网网民的数量也在持续增加。通过中国互联网络信息中心发布的第43次《中国互联网络发展状况统计报告》（如图1.1），我们可以知道截至2018年12月，我国互联网用户数为8.29亿，全年新增互联网用户5653万，互联网普及率达到59.6%，较2017年底提升3.8个百分点。根据国家统计局官方数据可知，截至2018年12月，我国总人口为13.95亿，互联网用户数已超过人口数的一半。

图1.1 互联网用户数和互联网普及率

数据来源：http://www.cnnic.net.cn/ 中国互联网网络信息中心网站

互联网也极大的影响着人们的生活方式和生活习惯。人们既享受着互联网带来的便利，也被互联网所困扰。互联网给人们带来了丰富的信息资源、强大的搜索引擎和信息的快速传送，但在获取这些便利的同时，如何在海量数据中快速准确的找到自己所需信息成为了一个持久性难题，这一问题被称为“信息过载”^[1]。“信息过载”是指人们由于本身知识水平和认知能力的有限性，无法在复杂海量的互联网信息中快速准确的找到自己需要的信息，以及无法准确理解和使用信息。

为了有效的解决信息过载的问题，逐渐引入了搜索引擎^[2]和推荐系统^[3]的信息过滤机制^[4]。其中搜索引擎以谷歌为代表，可以让用户自行搜索关键词以找到自己所需要的信息。但是搜索引擎有一定的缺陷，如果用户无法准确描述自己的需求并无法提供准确的关键字时，搜索引擎就无法发挥作用了。另外，根据关键词搜索出来的结果千篇一律，无法满足不同用户在不同背景下的个性化需求。为了改善搜索引擎存在的缺陷，推荐系统便产生了。这种推荐技术能够帮助人们在海量的数据中找到自己需要以及适合自己的信息，显示出强大的生命力。美国的克里斯·安德森在《长尾理论》中说过：“We are leaving the age of information and entering the age of recommendation”^[5]。

目前，几乎所有的电子商务网站、新闻网站、智能学习网站等都建立了自己的个性化推荐系统，使之能够为用户提供更加个性化的智能服务，这种行为也给企业带来了一定的经济效益。个性化推荐系统主要包括以下三个部分：用户建模模块、推荐对象建模模块以及推荐算法模块^[6]，其系统典型模型如图1.2所示。

图1.2 个性化推荐系统模型

本文旨在了解传统的协同过滤算法以及混合的协同过滤算法^[7]，提出改进的混合协同过滤算法，同时以MovieLens^[8]网站上的数据集为例，利用改进的混合协同过滤算法进行分析，得出分析结果，将之与传统的协同过滤算法计算的结果进行对比，探索改进的混合协同过滤算法是否能够提高推荐质量，解决传统推荐中多兴趣和多内容方面的问题以及改进算法是否有效。

1.2相关研究文献综述

个性化推荐系统是一种试图帮助用户挑选其可能喜欢的商品或者内容的系统，其核心是个性化推荐算法。在个性化推荐算法中运用最广泛的是协同过滤算法，本文的重心是研究协同过滤算法以及在个性化推荐系统中的应用，因此，本节将对个性化推荐系统以及协同过滤算法的国内外研究现状进行介绍。

1.2.1个性化推荐系统的研究现状

对于个性化推荐系统的研究，最早始于1992年。Goldberg等人在这一年提出了协同过滤算法，并在其基础上建立了首个个性化推荐系统—Tapestry邮件过滤系统^[9]，该系统在一定程度上解决了邮件信息过载的问题。之后在美国人工智能协会上，卡耐基·梅隆大学的Robert Armstrong等人于1995年提出了个性化导航系统—Web Watcher。斯坦福大学的Marko Balabanovic等人在同一会议上推出了个性化推荐系统LIRA。2001年，亚马逊将推荐系统应用到其网站之中，主要是个性化商品推荐列表和相关商品推荐列表^[10]。同年，我国南京大学研发了个性化信息检索智能系统—DOLTRL-Agent。2007年，谷歌为Adwords板块添加了个性元素，可以记录和分析用户近期的搜索历史，通过记录和分析的结果了解用户的喜好和需求，可以更精确地呈现用户可能感兴趣的广告内容。2008年，淘宝推出了个性化推荐系统，可以实现在大量商品中帮助用户快速的找到符合自己偏好的商品。2011年，百度也开始逐步实现个性化推荐，为用户带来更加智能的浏览体验。

1.2.2协同过滤算法的研究现状

在推荐系统的研究中，个性化推荐技术是核心，其中包括基于关联规则的推荐算法^[11]、基于内容的推荐算法^[12]以及基于协同过滤的推荐算法^[13]，本文主要研究基于协同过滤的推荐算法。协同过滤算法最早出现在1992年，是Goldberg等人提出的。协同过滤算法是指挖掘并分析用户历史行为数据后发现用户偏好，根据偏好的不同划分用户群组，并对同一用户群组推荐品味相似的商品。

协同过滤推荐算法主要包括两种：基于用户的协同过滤算法（User-based collaborative filtering，User-based CF）^[14]和基于项目的协同过滤算法（Item-based collaborative filtering，Item-based CF）^[15]。基于用户的协同过滤算法依据目标用户的类似用户对项目的评分来预测目标用户对该项目是否感兴趣，而基于项目的协同过滤算法则对未评分目标项目的相似项目进行评分，再预测目标用户对未评分项目的评分。两种推荐算法都有自身的缺陷，则需要对其进行算法改进。时念云等人提出了融合多元信任机制的协同过滤算法，合理量化了影响信任的相关因素并建立以及优化多元信任模型，用信任度取代相似度，从而产生目标用户最近邻，再据此进行推荐，该算法可以在一定程度上提高推荐质量^[16]。黄典提出了基于项目的协同过滤推荐算法的改进，提出融合差异度和时间函数的推荐算法，改善了数据稀疏问题^[17]。周超等人提出了基于用户和项目双向聚类的协同过滤推荐算法，旨在解决传统协同过滤算法中的数据稀缺性问题^[18]。

1.3研究内容及研究方法

本节主要介绍文章具体的研究内容以及研究方法。文章的研究内容主要包括个性化推荐系统及协同过滤算法的概述、设计算法并利用实例进行相关分析。研究方法主要包括以下三种：文献研究法、实例研究法和数据分析方法。以下介绍的是本文的研究内容和研究方法。

1.3.1研究内容

本文主要有以下三个方面的研究内容：

（1）了解个性化推荐系统以及其分类，并且了解基于协同过滤推荐算法的相关理论。

（2）利用影片观影相关数据进行实例分析，得出传统协同过滤算法推荐结果和混合协同过滤算法推荐结果，并进行对比分析以及验证分析。

（3）根据分析结果讨论混合协同过滤算法的优势，以及是否解决了传统协同过滤推荐存在的多兴趣和多内容方面的问题。

1.3.2研究方法及技术路线

本文采用的研究方法主要有：

（1）文献研究法

利用中国知网，万方数据知识服务平台以及相关学术文献数据，广泛地搜集协同过滤及个性化推荐系统等方面的期刊以及网络文献，查阅混合协同过滤的相关理论，并搜集影片观影数据，在对上述资料进行归纳、整理、分析的基础上，得出一定的分析。前期资料收集准备工作对后期的理论分析、现状分析以及相关数据分析有着非常重要的作用。

（2）实例研究法

在了解混合协同过滤推荐方式的基础上，利用影片观影的数据进行相关对比实验以及权重因子的灵敏度分析。利用实例分析研究混合的协同过滤推荐算法，可以进一步加深对混合协同过滤推荐算法的理解，从而可以对该算法进行优化以及更有力的支持实例分析。

（3）数据分析方法

① 描述性分析

本文中引用了较多的网站数据，利用图表对具体数据进行整理和归纳，给人最直观的感受，也可以使文章的表述更加清晰，论证更加有力。

② 编程语言分析

利用python编程语言对数据进行相关处理，设计并实现两种传统的协同过滤推荐算法和混合的协同过滤推荐算法，能够更加快速地得出相应结果，并且能更好的支撑文章的算法理论描述。

本文在总结国内外研究现状的基础上，分析出两种传统协同过滤推荐算法的缺点，提出改进的混合协同过滤推荐算法，并将其应用到了观影个性化推荐实践中，验证了模型的实用性和有效性。本文的具体技术路线图如图1.3所示。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：