摘要：
大体思想和RNN encoder-decoder是一样的，只是用来LSTM来实现。 paper提到三个important point： 1）encoder和decoder的LSTM是两个不同的模型 2）deep LSTM表现比shallow好，选用了4层的LSTM 3）实践中发现将输入句子rever 阅读全文
摘要：
针对机器翻译，提出 RNN encoder-decoder. encoder与decoder是两个RNN，它们放在一起进行参数学习，最大化条件似然函数。 网络结构： 注意输入语句与输出语句长度不一定相同。 在encoder端，t时刻的隐藏状态h表示为 t-1时刻的h 以及t时刻的输入x的函数，直到输 阅读全文
摘要：
基本思路：利用用户和商品的评论构建CNN预测评分。 网络结构： user review网络与 item review网络结构一致，仅就前者进行说明 从user review text到 look-up layer： 首先需要pre-train一个word embedding的词表，对某个用户，将其对 阅读全文
摘要：
针对交叉（高阶）特征学习提出的DeepFM是一个end-to-end模型，不需要像wide&deep那样在wide端人工构造特征。 网络结构： sparse features的构造：类别型特征one-hot，连续型特征数值表示，或者分段离散后one-hot FM与NN分别输出预测y后，对两个结果进行 阅读全文
摘要：
本文提出的W&D是针对rank环节的模型。 网络结构： 本文提出的W&D是针对rank环节的模型。 网络结构： wide是简单的线性模型，但是可以预先对特征做各种变换、交叉等来增加wide模型的非线性性。 deep是一个FNN，对高维稀疏类别特征采取embedding降维，embedding的结果是 阅读全文
摘要：
将word2vec思想拓展到序列item的2vec方法并运用到推荐系统中，实质上可以认为是一种cf 在word2vec中，doc中的word是具有序列关系的，优化目标类似在max对数似然函数 应用在item2vec上，可以有两种看待方式： （1）如果item是强时序关系的，那么对某一次序列中的ite 阅读全文
摘要：
从各方资料总结了一下大体思路，论文中很多细节还有待细读。 1.引言 youtube视频推荐的三大挑战： （1）规模大：数以亿计 （2）新鲜度：每秒就有很多新视频上传，要考虑用户的实时行为和新视频的推荐，平衡好新视频和好视频。（exploration and exploitation） （3）噪音：用 阅读全文
摘要：
重点：认为不同的广告会触发用户的兴趣点不同导致user embedding随之改变。 DIN网络结构如下图右边 DIN的出发点：认为不同的广告会触发用户的兴趣点不同导致user embedding随之改变。 认为用户embedding向量 是 推荐出来的ad向量的函数，并且ad向量可以通过与历史行为 阅读全文
摘要：
提出attention机制，用于机器翻译。 背景：基于RNN的机器翻译 基本思路是首先对语言x进行编码encoder，然后解码decoder为语言y。encoder和decoder可以看做两层RNN? 编码的隐藏层h和解码的隐藏层s RNN encoder-decoder : 1）对输入的sente 阅读全文
摘要：
思路：利用RNN对用户浏览顺序建模，利用FNN模拟CF，两个网络联合学习 RNN网络结构： 输出层的state表示用户浏览的某一页面，可以看做是一个one-hot表示，state0到3是依次浏览的页面。因为RNN的输入个数是有限的，如果用户浏览的过多的页面，那么就会丢失最开始的那些页面，paper为 阅读全文