项目冷启动推荐的神经语义个性化排序外文翻译资料
2022-12-19 17:37:44
英语原文共 23 页，剩余内容已隐藏，支付完成后下载完整资料
DOI 10100/10791-017-9295-9
项目冷启动推荐的神经语义个性化排序
Travis Ebesu1 bull;Yi Fang1
收稿日期：2016年9月2日/接受日期：2017年2月13日
copy;Springer Science Business Media纽约2017
摘要：推荐系统可帮助用户处理信息过载并在Web上享受个性化体验。这些系统的主要挑战之一是项目冷启动问题，这在实践中非常普遍，因为现代在线平台已经存在每天发布数以千计的新项目。此外，在许多现实世界场景中，项目推荐任务基于用户的隐式偏好反馈，诸如用户是否与项目交互。为了解决上述挑战，我们提出了一种称为神经语义个性化排序（NSPR）的概率建模方法，以统一深度神经网络和成对学习的优势。具体而言，NSPR将潜在因子模型与深度神经网络紧密耦合，以从隐式反馈和项目内容中学习强大的特征表示，从而允许我们的模型推广到看不见的项目。我们展示了NSPR集成各种成对概率函数的多功能性，并提出了基于Logistic和Probit函数的两种变体。我们对两个真实的公共数据集进行了一系列全面的实验，并证明NSPR明显优于最先进的基线。
关键词 ：推荐系统 深度神经网络 隐式反馈 成对学习
介绍
推荐系统已被确立为许多Web应用程序向用户提供个性化推荐的关键工具。成功的系统涵盖各种平台，包括亚马逊的图书推荐，Netflix的电影推荐，和潘多拉的音乐推荐。一种流行且有效的建议方法是协同过滤（CF），其重点是寻找具有相似兴趣的用户并推荐志同道合的人（Koren 2010).采用CF技术时出现的一个基本问题是项目冷启动问题，这是由于缺乏相关的交易历史而导致系统无法处理新项目。
项目冷启动的问题具有重要的实际意义，因为现代在线平台每天发布数千个新项目，并且有效地推荐它们对于保持用户持续参与是必不可少的。另一方面，基于内容的方法仍然可以通过使用项目的描述来产生推荐，但是它们倾向于实现较低的准确性。结合CF和内容成为项目冷启动问题的常用方法。文献中提出了几种混合潜在因子模型，包括集体矩阵分解（CMF）（Singh和Gordon 2008）和协作主题回归（CTR）（Wang和Blei 2011).关键思想是分别从评级矩阵和内容矩阵中获取项目潜在因素，并将它们耦合在共享潜在空间中。这些方法通过整合内容信息来扩展传统的矩阵分解模型，但是所学习的潜在表示通常是无效的，尤其是当内容信息非常稀疏时，这是许多推荐任务的情况，其中项目描述通常很短。无效性可能在于这些技术可以被视为从项目描述和反馈信息中捕获潜在主题的浅层模型，通过对观察到的数据应用简单的变换（通常是线性的），而理想的潜在因素可能与观察。
许多推荐任务中的另一个挑战是存在隐含反馈，其中用户对项目的显式偏好（例如，评级）是不可用的。在现实世界中，通常只有隐式反馈可用于学习推荐模型。隐式反馈的示例是点击，观看的电影，播放的歌曲，购买或分配的标签。隐式反馈会自动跟踪，因此集要比显式反馈更容易。隐式反馈的一个特征是它是一类的，即只有正面观察可用。此外，观察到的隐式反馈通常非常稀疏，这使得偏好建模更具挑战性。结果，现有的解决方案通常提供令人不满意的推荐准确度。
另一方面，深度学习模型最近在各种应用中学习有效表示方面取得了巨大成功，包括计算机视觉，语音识别和自然语言处理（Deng和Yu 2014；LeCun等 2015).然而，现有文献中很少有关于为推荐系统开发深度学习模型的工作，特别是用于通过隐式反馈来解决冷启动问题。在本文中，我们通过使用深度神经网络（DNN）学习项目表示来提出神经语义个性化排序（NSPR）概率模型。为了处理隐式反馈，我们采用成对概率函数，旨在区分小组正项和大组所有剩余项。以这种方式，具有和不具有反馈的项目将有助于学习排名功能，因此可以减轻数据稀疏性问题。DNN用于将高维稀疏文本特征映射到潜在语义空间中的低维密集特征。这些低维特征与从成对概率中学习的潜在因子紧密耦合，这允许内容信息和隐式反馈之间的双向交互。从隐式反馈导出的成对概率可以指导特征表示的学习。学习的特征可以进一步改善成对模型的预测能力。新的潜在因素
可以通过将训练的DNN应用于其内容来推断项目，然后将其用于项目排名。该文件的贡献可归纳如下：
- 我们通过使用深度神经网络和隐式用户反馈来推断项目的语义表示来解决项目冷启动推荐任务。据我们所知，之前的工作没有利用深层学习和隐性反馈来解决冷启动问题。
- 我们提出了一种新颖的概率生成建模方法，用于表征如何基于隐式反馈观察项目的偏好。我们基于各种成对概率函数导出两个变体，包括Logistic和Probit函数。
- 对两个公共现实世界数据集的广泛实验表明，NSPR可以显着提升现有技术水平。
相关工作
一般而言，推荐任务主要有两类：评级预测和项目推荐。评级预测的目的是预测用户可能给予之前未与之交互的项目的评级。Netflix中的电影评级预测（Bennett和Lanning 2007）就是这样一个例子。对于项目推荐，推荐系统向用户提供她可能更喜欢的项目的排序列表。例子包括亚马逊的产品推荐（Linden等 2003）和基于位置的社交网络中的兴趣点推荐（Cheng等 2012).本文重点介绍项目冷启动推荐任务。在以下小节中，我们将简要回顾与我们相关的现有工作的三个类别。
深度学习协同过滤
关于推荐系统的深度学习的工作很少。Salakhutdinov等（2007）提出限制玻尔兹曼机器（RBM）来模拟电影的收视率。格奥尔基耶夫和纳科夫（2013）在统一的非IID框架中扩展了这项工作。最近，自动编码器已成为解决推荐系统的流行架构。自动编码器是前馈神经网络，在尝试恢复模型初始输入之前，通过在架构中形成瓶颈来构造压缩表示。AutoRec（Sedhain等 2015）证明了简单自动编码器直接预测电影评级的有效性，改进了先前应用于推荐系统的先前深度学习模型。将损坏的输入或噪声结合到自动编码器中进一步改善了性能，因此，出现了许多利用自动编码器的变体。一个这样的例子是协同去噪自动编码器（CDAE）（Wu等 2016）它将用户潜在因素与自动编码器集成，以解决检查逐点和成对丢失函数的Top-N推荐系统。Strub和Jeremie（2015）建立一种能够通过将损坏的输入和重建误差作为损失函数进行插值来训练堆叠去噪自动编码器的深度结构的方法。神经网络矩阵分解（NNMF）（Dziugaite和Roy 2015）采用不同的方法，将矩阵分解的传统内积替换为从前馈神经网络中学习的函数。CoFactor（Liang等2016）共同分析评级矩阵和转移的正面逐点互信息（SSPMI）项嵌入矩阵。事实证明，SSPMI矩阵与项目共现嵌入（Levy和Goldberg 2014).这些方法不包含内容信息，因此无法解决冷启动问题。
Van den Oord等人最近的一些工作（2013）和Wang和Wang（2014）通过两步法处理音乐推荐：矩阵分解用于获得项目的潜在因素，然后应用传统的卷积神经网络（CNN）通过将这些潜在因素作为输出来学习内容信息的特征表示。换句话说，他们的模型的深度学习组件是确定性的，并且仅与评级矩阵的矩阵因子分解松散地耦合。他们没有利用内容信息和评级之间的互动。
程等人（2016）通过联合培训手工设计的用户人口统计和隐式应用程序安装的广义线性模型和DNN来解决移动应用程序推荐。DNN产生各种移动应用程序推荐，而线性模型则将过度概括调解为不相关的推荐。建议联合为两者提供了中间立场。类似地，神经协同过滤（NCF）（He等 2017）合作多层感知器（MLP）的输出与来自矩阵因子分解（MF）的潜在因子连接，应用非线性变换以在执行最终推荐之前产生局部相互作用。MLP和MF各自为用户和项目潜在因素保留单独的嵌入空间，以适应手头任务所需的复杂性。NCF可能与我们提出的模型类似;但是，NCF缺乏处理内容信息的能力，因此不能用于冷启动问题。经常性推荐网络（RRN）（Wu et al。2017）用两个递归神经网络（RNN）表示用户潜在和项目潜在因素，以捕获电影推荐的时间方面。总的来说，RNN隐藏状态表示用户在每个时间间隔的偏好和评级，同时保持额外的固定因子以处理用户的长期偏好。Jing和Smola（2017）赋予RNN生存分析以预测给定用户的未来回报。RNN通过生存率来解决咨询先前隐藏状态的时间方面，以解决用户的返回时间。郑等人。（2017在使用最终共享交互层之前，分别在用户评论和项目评论上描绘具有并行CNN的用户行为和项目属性。Zheng等人。（2016 a）利用卷积和去噪自动编码器来利用文本，结构和视觉知识库来增强潜在因子模型。Zheng等人。（2016 b通过修改前馈神经网络的输入层来处理点击率，以对多场分类数据执行不同类型的变换。基于分解机，限制Boltzmann机（RBM）和去噪自动编码器提出了三种变换。然而，这些方法缺乏对我们问题的适应性或强加额外的特征工程，例如知识库或用户人口统计。
协作深度学习（CDL）（Wang等 2015）提出了一种分层贝叶斯模型，用于将内容信息的深度表示学习与评级矩阵的协同过滤紧密结合，允许两者之间的双向交互。协作深度排名（CDR）（Ying等 2016）后来扩展CDL以包括成对损失。深度协同过滤（DCF）（Li等 2015），通过边缘化去噪自动编码器来减轻深度学习中的计算开销，以获得封闭形式的解决方案。该体系结构由用于内容信息的项目和用户自动编码器以及潜在因子模型组成。CDL和DCF模型与NSPR有一些相似之处。然而，它们直接预测用户评级，并且缺乏解决现代推荐系统中普遍存在的隐式反馈的能力。虽然CDR确实使用成对损失进行隐式反馈，但它没有利用潜在因子模型。
NSPR与现有工作有显著差异。首先，没有先前的工作通过将深度语义表示与用户反馈相结合来研究冷启动问题。其次，推荐系统中许多以前的深度模型使用去噪自动编码器来学习内容的特征表示，而NSPR利用深度神经网络，允许直接模拟潜在语义空间，而不像自动编码器那样建模输入的恢复。我们演示了使用DNN学习强大的特征表示而无需复杂的预处理数据转换的有效性。最后但并非最不重要的是，NSPR利用随机梯度下降进行参数估计，对于大型数据集而言，这通常比批量估算方法更具可扩展性（Bottou 2010）用于现有的基于深度学习的推荐模型，如CDL和DCF。
冷启动问题
冷启动问题在推荐系统中很普遍。它们通常通过利用内容信息来缓解。基于单词的相似性方法（Pazzani和Billsus 2007）推荐基于单词向量空间中的文本内容相似性的项目。协作主题回归（CTR）将矩阵分解模型与概率主题建模结合起来，推广到看不见的项目（Wang和Blei 2011).集体矩阵分解（CMF）（Singh和Gordon 2008）同时将评级矩阵和内容矩阵与共享项目潜在因素进行因式分解。SVD特征（Chen等人 2012）将内容功能与协同过滤相结合。潜在因素与用户，项目和全局功能集成在一起。SVD特征 展示了基准评估中最先进的性能。
隐式的反馈
矩阵分解已经过调整，可以从隐式反馈中学习推荐。Hu等人（2008）和Pan等人。（2008)提出了使用案例权重的正则化最小二乘优化。最有效的技术之一是基于贝叶斯个性化排名（BPR）（Rendle等人 2009 剩余内容已隐藏，支付完成后下载完整资料
