未来智讯 > 神经网络论文 > 基于融合卷积神经网络的协同过滤模子

基于融合卷积神经网络的协同过滤模子

发布时间:2019-01-22 01:06:01 文章来源:未来智讯    
    基于融合卷积神经网络的协同过滤模子作者:未知   摘要:在传统推荐体系中,平日基于协同过滤推荐算法发掘评分中的隐含特性,但在现实应用中,评分矩阵每每十分稀疏,很难充分地表现用户偏好特性与物品描绘特性。为了充分发掘评论文本中的隐含特性,并在必然水平上缓解数据稀疏性问题,提议一种深度协同过滤模子(CFiCNN):融合卷积神经网络的协同过滤模子。该模子行使卷积神经网络抽取用户-物品评论数据中的隐含特性,基于协同过滤的矩阵分化要领,进行评分展望。在4个真正数据集上对该模子进行了评估尝试,并与3个常用模子进行对照。尝试了局证明,该模子可以很好地抽取到用户与物品的隐含特性,而且进行更正确的评分展望。
  关头词:推荐体系;评分展望;卷积神经网络;协同过滤;矩阵分化
  DOIDOI:10.11907/rjdk.172511
  中图分类号:TP301
  文献标识码:A 文章编号:1672-7800(2017)012-0044-05
  Abstract:In the traditional recommendation system, collaborative filtering is widely used to extract implied features. However, in practice, the rating matrix is usually very sparse, which is difficult to fully represent users’ preferences and items’ features. In order to fully extract the implicit features in reviews and to alleviate the sparseness of data to a certain extent, this paper proposes a deep collaborative filtering model, named collaborative filtering integrating convolutional neural network (CFiCNN). This model uses convolution neural network to extract the implicit features in the user-item reviews, and then predicts ratings based on the matrix factorization. In this paper, CFiCNN is evaluated on four real data sets and compared with three commonly used models. The experimental results show that CFiCNN can extract the implicit features of the user and the commodity well, and make a more accurate rating prediction.
  Key Words:recommendation system; ratings prediction; convolutional neural network; collaborative filtering; matrix factorization
  0 引言
  跟着互联网技艺的迅猛成长,每天都有大量文字、图片、视频等数据被上传到互联网中[1],剖析用户的反馈信息和物品描绘信息,发掘两者中的隐含特性,对用户进行个性化推荐十分需要。
  传统推荐算法首要有两大类:一类是基于内容的推荐算法,另一类是基于协同过滤的推荐算法[2-4]。基于内容的算法凭据用户或物品的元数据,即用户的小我信息和物品的内容信息,发现用户或物品间的有关性,据此发生推荐。基于协同过滤的要领更垂青用户的汗青数据,如购置汗青、评分等[5],在现实应用中,该算法每每能取得更切确的推荐。然而,基于协同过滤的推荐算法存在稀疏性问题,较难有用抽取数据特性[6]。是以,若何有用缓解稀疏性问题,是推荐体系中必要深入切磋的热门。
  近年来,深度进修在图像辨认、文本处置和天然说话处置等方面数据深条理隐含特性的发掘上取得了必然进展,个中,卷积神经网络(Convolutional Neural Network, CNN)表示尤为凸起[7-8]。卷积神经网络是一种前馈神经网络,其特殊的网络布局使之更近似于生物神经网络,是以可以很好地抽取数据的深层隐含特性[9]。本文提议的基于融合卷积神经网络的协同过滤模子(Collaborative Filtering integrating Convolutional Neural Network,CFiCNN)基于卷积神经网络理论,提取用户和物品数据的深层隐含特性,并将其融合到传统协同过滤算法中,尝试证明有较好效率。
  1 有关切磋
  1.1 传统推荐算法
  传统推荐算法首要包罗基于内容的算法和基于协同过滤的算法。基于内容的推荐算法源自负息检索[10-11],其假如“用户会喜好和他畴昔喜好的物品近似的物品”,焦点思惟是基于用户和物品的内容信息,例如用户性别、乐趣偏好、物品的描绘信息等,发掘其有关性,然后凭据用户畴昔喜好的物品,为其推荐近似的物品。受限于特性信息的提取才力,基于内容的推荐要领效率并不睬想。
  基于协同过滤的推荐算法是今朝应用最为普遍的算法,被以为第一个应用协同过滤的体系是Grundy书本推荐体系[12]。1992年,David Goldberg[13]初次在论文中提议了“�f作型过滤”一词,并将协同过滤应用于其设计的Tapestry邮件处置体系。基于协同过滤的推荐算法凭据评分评论等汗青数据,发掘用户或物品之间的相似性,并据此展望评分,形成推荐。基于协同过滤的推荐算法可分为3种:基于用户的协同过滤、基于物品的协同过滤和基于模子的协同过滤。基于用户的协同过滤是最早的一种协同过滤算法,其基于比来邻搜罗,使用各异相似性器量目标,如Pearson有关性系数、余弦相似度等要领,谋略用户间的相似性,并据此进行推荐[14]。基于物品的协同过滤和基于用户的协同过滤近似,但它谋略的是物品间的相似性。基于模子的协同过滤算法常用矩阵分化(Matrix Factorization, MF)抽取隐含信息,包罗Lee等[15]在2001提议非负矩阵分化模子(Non-negative Matrix Factorization,NMF),Salankhutdinov等[16]在2008年及Rennie等[17]在2005年离别提议的最大隔断矩阵分化(Max-margin Matrix Factorization, MMMF) 以及几率矩阵分化模子(Probabilistic Matrix Factorization, PMF)。基于协同过滤的推荐算法长于发现用户新的喜欢,具有推荐新信息的才力,并且其推荐本能不会跟着用户数目的添加而大幅降落。可是,因为协同过滤算法基于汗青数据形成推荐,是以该算法仍然存在“冷开动”与“稀疏性”问题。   1.2 卷积神经网络
  卷积神经网络(Convolution Neural Network,CNN)是由LeCun等[7]在20世纪90年月颁发论文确定的,是深度进修中的一种前馈神经网络,其权值共享和部分联贯的特点,使之更近似于生物神经网络。卷积神经网络行使反向传布算法(Backpropagation,BP)训练模子,可以从原始输入数据中抽取更深条理的隐含信息,它的基本网络层蕴含:输入层、卷积层、池化层、全联贯层和输出层。个中,卷积层为网络布局的焦点,用于对输入旌旗灯号进行卷积谋略,进修深条理特性;池化层贬低数据维度,削减参数数目,保持网络中更为严重的特性;全联贯层的作用是将进修到的隐含特性映射到样本空间中,并送入输出层,天生输出。卷积神经网络已经在图像辨认、文本处置等方面取得了多项突破性进展。今朝,基于卷积神经网络的图像辨认已经能够到达99.47%的正确率[18]。
  近几年也有很多切磋者将神经网络应用于推荐体系,2009年,王宁[19]基于BP神经网络设计兑现了一种即时在线电子商务推荐体系,该体系基于BP神经网络对用户的购物乐趣进行分类,然后凭据乐趣判别了局进行商品推荐。2013年,Dieleman等[20]提议了基于卷积神经网络的音乐推荐模子,该模子选取深度卷积神经网络提取歌曲音频中的特性,然后选取WMF(Weighted Matrix Factorization)模子进行评分展望,从而形成推荐。这些要领虽然可以凭据用户和物品的描绘信息,猎取隐含特性,可是对付用户和物品的评论评分等汗青数据的深条理特性发掘方面还不敷,推荐效率仍然不睬想。
  针对若何从稀疏数据中发掘隐含特性升迁推荐效率的问题,本文提议了一种融合卷积神经网络的协同过滤模子:CFiCNN模子,该模子将深度进修中的卷积神经网络融合到传统的协同过滤模子中,基于卷积神经网络进修用户和物品评论中深条理的隐含特性,议决协同过滤的矩阵分化模子,展望用户对物品的评分,据此进行推荐,并得到了较好的推荐效率。
  2 协同过滤推荐模子先容
  2.1 问题描绘
  协同过滤算法凭据用户对物品的乐趣偏好数据,发掘物品或者用户的隐含特性,谋略其有关性,然后进行评分展望,最终发生推荐。一般环境下,数据每每是十分稀疏的,今朝的协同过滤很难抽取数据中深条理的隐含特性。
  表1中每一行代表一个用户所颁发的的评分和评论,每一列代表一个物品收到的评分和评论,个中?表现无评分评论信息。矩阵R和C能够议决表1得到。
  是以,本文要解决的问题是:基于评分矩阵Rm×n与评论矩阵Cm×n,将卷积神经网络融合到传统的协同过滤算法中,发掘用户和物品的隐含特性,展望用户对未评分物品的评分。
  2.2 协同过滤模子布局
  融合卷积神经网络的协同过滤算法模子,起首对数据进行预处置,包罗去除无效数据,保持评论和评分数据;接着,针对每一用户、每一物品,离别归并其全部评论数据,并对评分数据求平均值;然后基于文本向量化技艺,将归并后的每条评论数据转成向量,将向量化后的用户数据和物品数据离别送入卷积神经网络中训练,基于卷积神经网络抽取用户useri全部评论的隐含特性作为该用户的特性表现ui,同样地,抽取某一物品itemj全部评论的隐含特性作为该物品的特性表现vj,然后基于协同过滤中的矩阵分化要领,将ui和vj的转置进行内积,获得展望评分r′ij=uivTj;最终行使Adam优化要领训练模子[18],最小化展望评分r′ij与真正评分rij的偏差。
  模子布局如图1所示,包罗输入层、卷积层、池化层、全联贯层和输出层。个中,输入层领受向量化的评论文本作为输入特性x,均值化的评分作为输入特性y;卷积层议决滑动卷积查对输入特性进行卷积谋略,获得特性图;池化层行使最大池化的要领,对卷积层谋略获得的特性图进行降维,保持网络中更为严重的特性;全联贯层将进修到的隐含特性映射到样本空间,并传递给输出层,天生输出。
  2.2.5 矩阵分化
  矩阵分化行使矩阵相乘,将高维且稀疏的user-item评分矩阵分化为两个低维度的user特性矩阵和item特性矩阵。在基于模子的协同过滤算法中,议决构建用户和物品模子,从用户和物品的评分等汗青数据中进修user的特性矩阵和item的特性矩阵,然后两个特性矩阵相乘,获得展望评分矩阵,最终拟合展望评分矩阵和真正评分矩阵。
  3.3 对照尝试
  为了更好地评估本文提议的模子,验证该模子的有用性,本文选择3个对照模子进行比力尝试,包罗几率矩阵分化模子(PMF)、LibMF矩阵分化模子(LibMF)和卷积矩阵分化模子(ConvMF)。
  3.4 尝试了局与剖析
  本文在4个真正数据集上对提议的CFiCNN模子进行尝试评估,并以RMSE作为评价目标器量评分展望的了局。在保证尝试数据、尝试情况等前提不异的环境下,将CFiCNN模子与3种各异的矩阵分化模子对照,离别是几率矩阵分化模子PMF、LibMF矩阵分化模子和卷积矩阵分化模子ConvMF。
  ��验参数配置如下:用户隐含特性权重值α=1,物品隐含特性权重值β=0.5。模子训练的进修率初始值配置为lr=0.000 65。配置用户隐含特性正则化项和物品隐含特性正则化项相称,λuser=λitem=λ=0.001。卷积神经网络卷积核巨细配置为3*3,全联贯层神经元个数为1 024个。
  为了验证本文所提模子CFiCNN和对照模子的总体表示,起首将4个真正数据集随机划分为训练集(80%)和测试集(20%),个中又将训练集的20%随机划分为验证集,用于模子参数调解,不参预模子训练。
  从图2能够看出,在全部真正数据集上,传统协同过滤模子PMF和LibMF的RMSE值很接近,而行使卷积神经网络提取评论文本特性的ConvMF模子和CFiCNN模子的RMSE值有所差别,讲明卷积神经网络确实可以抽取评论文本中的隐含特性,但对该隐含特性的各异处置体式格局会影响评价目标RMSE的值,即最后的评分展望了局。而很较着地,本文提议的深度协同过滤模子CFiCNN的RMSE值,较其它3个对照模子都有所贬低。个中,在ACSJ数据集上的降幅最大,评价目标RMSE较对照尝试最低值贬低了7.28%。在AMT数据集上的降幅最小,RMSE值较对照尝试最低值贬低了0.63%。   4 结语
  本文基于协同过滤推荐算法,融合深度进修中的卷积神经网络,提议了深度协同过滤模子CFiCNN。该模子由输入层、卷积层、池化层、全联贯层和输出层组成。个中,卷积层议决滑动卷积查对输入特性进行卷积谋略,获得特性图;池化层对卷积层进行最大池化操作,保持网络中更为严重的特性;全联贯层将进修到的隐含特性映射到样本空间,并传递给输出层。最终从CNN模子的全联贯层中抽取用户和物品的隐含特性,进行矩阵分化,谋略获得展望评分,从而拟合真正评分。
  在推荐体系中,仍然存在一些问题值得深入切磋,能够实验将更多的信息,好比用户小我信息、物品描绘信息等,引入到传统协同过滤模子中,并基于各异的深度神经网络模子抽取个中的隐含特性。
  参考文献:
  [1] 顾��.信息过载问题及其切磋[J].中国藏书楼学报,2000,26(5):42-45.
  [2] 刘开国,周涛,汪秉宏.个性化推荐体系的切磋进展[J].天然科�W进展,2009,19(1):1-15.
  [3] PAZZANI M, BILLSUS D. Content-based recommendation systems[J]. The Adaptive Web, 2007: 325-341.
  [4] SARWAR B, KARYPIS G, KONSTAN J, et al. Item-based collaborative filtering recommendation algorithms[C].Proceedings of the 10th International Conference on World Wide Web. ACM,2001:285-295.
  [5] 马雄伟,张光卫,李鹏.协同过滤推荐算法综述[J].小型微型谋略机体系,2009(7):1282-1288.
  [6] 孙小华.协同过滤体系的稀疏性与冷开动问题切磋[D].杭州:浙江大学,2005.
  [7] LECUN Y, BENGIO Y, HINTON G E. Deep learning[J]. Nature,2015,521 (7553) :436-444.
  [8] 李彦冬,郝宗波,雷航.卷积神经网络切磋综述[J].谋略机应用,2016,36(9):2508-2515.
  [9] 徐春晖,徐向东.前馈型神经网络新进修算法的切磋[J].清华大学学报:天然科学版,1999,39(3):1-3.
  [10] BAEZA-YATES R A, RIBEIRO-NETO B. Modern information retrieval[M].北京:中国机器出书社,2004.
  [11] 刘玮.电子商务体系中的信息推荐要领切磋[J].谍报科学,2006,24(2):300-303.
  [12] RICH E. User modeling via stereotypes[J]. Cognitive Science,1979,3(4):329-354.
  [13] GOLDBERG D, NICHOLS D, OKI B M, et al. Using collaborative filtering to weave an information tapestry[J]. Communications of the ACM,1992,35(12):61-70.
  [14] RESNICK P, IACOVOU N, SUCHAK M, et al. Group Lens: an open architecture for collaborative filtering of net-news[C].ACM Conference on Computer Supported Cooperative Work,1994:175-186.
  [15] LEE D D, SEUNG H S. Algorithms for non-negative matrix factorization[C].Advances in Neural Information Processing Systems,2001:556-562.
  [16] MNIH A, SALAKHUTDINOV R R. Probabilistic matrix factorization[C].Advances in Neural Information Processing Systems,2008:1257-1264.
  [17] RENNIE J D M, SREBRO N. Fast maximum margin matrix factorization for collaborative prediction[C].Proceedings of the 22nd International Conference on Machine learning,2005:713-719.
  [18] SPECHT D F. Probabilistic neural networks[J]. Neural Networks,1990,3(1):109-118.
  [19] 王宁.一种基于BP神经网络的即时在线推荐体系[J].谋略机技艺与成长,2009,19(7):230-233.
  [20] VAN DEN OORD A, DIELEMAN S, SCHRAUWEN B. Deep content-based music recommendation[C].Advances in Neural Information Processing Systems,2013:2643-2651.
  [21] KARLIK B, OLGAC A V. Performance analysis of various activation functions in generalized MLP architectures of neural networks[J]. International Journal of Artificial Intelligence and Expert Systems,2011(4):111-122.
  (责任编纂:何 丽)
转载请注明来源。原文地址:https://www.7428.cn/page/2019/0122/80355/
 与本篇相关的热门内容: