周报(2017.3.19-3.16)
上周周报:
- FINISH-LIST: (1) 完成JCST 第二次修改; (2) 完成CSC材料准备.
- ON-GOING-LIST:(1)阅读4篇论文,重点了解 attention mechanism,思考应用到现有工作中,下周给出总结;(2)推进TOIS期刊的实验,做完分析实验部分.
- TODO-LIST: 完成期刊的模型拓展部分,撰写论文.
本周周报
FINISH-LIST:
一、阅读文章:
1. Collaborative Topic Modeling for Recommending Scientific Articles
2.Collaborative Deep Learning for Recommender Systems
3.Review Networks for Caption Generation
4. Neural Generative Question Answering
5.Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
阅读总结:
(1)文章【1】【2】 是关于改进推荐算法MF的,推荐算法分为两类,协同过滤模型和基于内容的推荐模型。 MF是协同过滤模型,其缺点之一就是只考虑了rating的关系,没有将商品用户内容考虑进去。
【1】2011年kdd将 商品内容 item用topic model刻画, 引入概率MF中;【2】kdd2015用相似的模型框架,将 item用深度学习encoder-decoder框架学习,引入到概率MF中进行刻画。其共同思想在于MF中user和item的隐含向量同时由rating的矩阵和 学到的item的特征表示共同决定。
学习这两篇论文的意义在于,我将探索如何用深度学习框架将两类推荐模型结合,其一就是改进MF的框架(ijcai工作),其二就是如【2】中,提供了的思路,将item文本表示引入传统MF框架中,缺点在于,只用encoder-decoder 刻画商品item的文本,因为很自然的一个思路,也可以用encoder-decoder 根据user购买历史,刻画用户的向量,共同加入训练。
(2)文章【3】【4】【5】是关于attention mechanism 应用于各个方面,attention mechanism是一个非常自然的想法,【5】中给出了如何attention加入RNN模型的基本方法,【4】中额外引入knowledge base 的模型可以作为以后混合模型方式之一【3】用review network改进attention model在encoder-decoder 框架中的应用,提出普通attention机制存在的缺点:未考虑全局的attention, 未刻画每一步attention之后的generator 效果。该文章解决了这两个问题。
ON-GOING-LIST:
(3.27-4.3)
(1) Early reviewer JD数据集的分析实验及原模型跑出结果
(3)读三篇文章,下周给出总结
(2)深度学习模型跑出结果
TODO-LIST:四月底完成TOIS.