CTR基于协同深度学习的推荐系统设计(3)

1。3 协同深度学习模型简介

本文建立了一个紧耦合的层级贝叶斯模型，我们称之为协同深度学习(Collaborative Deep Learning,CDL)模型 [20]，并将其应用于推荐系统。首先本文建立一个堆叠去噪自动编码机(Stacked Denoising Autoencoders,SDAE)[21]，通过SDAE我们对内容信息进行去噪和降维，然后在其基础上将内容信息的利用同协同过滤方法连接起来。本模型支持内容信息与评分信息之间双向的信息传递。虽然本文使用了SDAE作为提取内容信息的模型，但是CDL模型也支持其他的学习模型例如波尔兹曼机[22]和卷积神经网络[23]。尽管本文的推荐任务是针对电影的，但是本模型也可应用于其它领域的推荐任务，例如文章[24]或音乐的推荐。

2。符号表示

我们用和表示SDAE中第l层的权重和偏差，表示的第n列。L表示SDAE的层数。表示SDAE中第l层的神经元个数，为了简便起见，我们用K表示编码层的神经元个数，即。包含J个物品的内容信息表示为一个J×S的矩阵，S为词袋的长度。表示内容信息的第j行，即物品j的维数为S的词袋向量。对于I个用户，我们定义一个I×J的评分矩阵R。若用户i对物品j的有过浏览记录，则，否则。推荐任务可以简化为，在给定部分的评分矩阵R及物品内容信息的情况下，对评分矩阵R的其它部分做出预测。

我们令表示未加入噪声的内容信息数据。表示被噪声污染过后的内容信息，同样也是J×S的矩阵。表示SDAE第l层的输出数据，的维数为J× 。同的表示类似，我们用表示的第j行数据。

3。模型介绍

3。1 堆叠去噪自动编码机

SDAE是一个用于学习特征的前向神经网络，它由经典的去噪自动编码机扩展而来。自编码器适用于无监督学习，输入层接受形如的输入,隐藏层对于输入层做编码(Encode)操作，而输出层对于隐藏层做解码(Decode)操作。去噪自编码器在自编码器的基础上，在输入中加入随机噪声再传递给自编码器，通过自编码器来重建出无噪声的输入。噪声的添加有很多种方法，本文采用的方法是把输入的一些位（最多一半位）设置为0，这样去噪自编码器就需要通过没有被污染的位来猜测被置为零的位。通过噪声的引入，可以使编码机学习出的特征更加健壮。堆叠自动编码机则是由自编码机叠加起来形成一个深度网络，通过反馈前一层的降噪自动编码机的潜在表达（输出编码）作为当前层的输入。这个非监督的预学习结构一次只能学习一个层。每一层都被作为一个降噪自动编码机以最小化重构误差来进行训练。当前k个层的训练完成，我们可以进行k+1层的训练，因此此时我们才可以计算前一层的编码和潜在表达。当所有的层都被训练了，整个网络进行第二阶段训练，称为微调。在本文中，我们通过对编码层神经元个数做出限制，从而达到对内容信息的特征学习。

首先我们先对SDAE进行构建：来*自-优=尔,论:文+网www.youerw.com

(1) 对SDAE网络中的第l层，

(a) 对于权重矩阵的每一列，我们将其初始化为。

(b) 初始化偏差向量。

(2) 对于每个物品j，我们构造一个输入向量。

SDAE中的前L/2层作为编码器对输入的内容信息进行特征提取，后L/2层则作为解码器。我们将log-likelihood损失函数作为SDAE的损失函数，避免学习过慢的问题。 CTR基于协同深度学习的推荐系统设计(3):http://www.youerw.com/jisuanji/lunwen_83566.html