摘要：
多模态文本分类技术 1. 多模态表示学习（Representation） 1.1 联合表示（Joint Representation） 定义：将多个模态的信息一起映射到一个统一的多模态向量空间 论文：Multimodal learning with deep boltzmann machines, 阅读全文
摘要：
Beam Search 及5种优化方法 1. Review Beam Search 参考：吴恩达 深度学习 笔记 Course 5 Week 3 Sequence Models 回顾beam search： 对greedy search进行了改进：扩大搜索空间，更容易得到全局最优解。beam sea 阅读全文
摘要：
CNN卷积类型有哪些？ 1. 卷积类型 1.1 普通卷积：2D-Convolution 原始的conv操作可以看做一个2D版本的无隐层神经网络。 代表模型： LeNet：最早使用stack单卷积+单池化结构的方式，卷积层来做特征提取，池化来做空间下采样 AlexNet：后来发现单卷积提取到的特征不是 阅读全文
摘要：
CNN卷积和通道？ 1. CNN基本结构 全连接， 局部连接 权值共享 2. 卷积和通道的区别是什么 参考资料： https://www.cnblogs.com/shine-lee/p/10243114.html https://blog.yani.ai/filter-group-tutorial/ 阅读全文
摘要：
CNN模型 1. CNN模型发展 1.1 AlexNet 卷积核一定越大越好吗？-- 小卷积核 分组卷积首先在在AlexNet中出现，还用到一些非常大的卷积核，比如11×11、5×5卷积核，先前的观念是：卷积核越大，receptive field（感受野）越大，获取到的图片信息越多，因此获得的特征越 阅读全文
摘要：
Pointer Network发展与应用 1. Pointer Network（Ptr-Nets） 论文：Pointer Networks 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的，例如翻译时 Decoder 预测的目标数量等于字典的大小。这导致 Seq2Seq 不能用 阅读全文
摘要：
基于seq2seq文本生成的解码/采样策略 基于Seq2Seq模型的文本生成有各种不同的decoding strategy。文本生成中的decoding strategy主要可以分为两大类： Argmax Decoding: 主要包括beam search, class-factored softm 阅读全文
摘要：
NLP数据增强 1. UDA (Unsupervised Data Augmentation)【推荐】 一个半监督的学习方法，减少对标注数据的需求，增加对未标注数据的利用。 UDA使用的语言增强技术——Back-translation：回译能够在保存语义不变的情况下，生成多样的句式。 UDA关键解决 阅读全文
摘要：
Teacher forcing是什么？ RNN 存在两种训练模式（mode）： free-running mode: 上一个state的输出作为下一个state的输入。 teacher-forcing mode: 使用来自先验时间步长的输出作为输入。 teacher forcing要解决什么问题？ 阅读全文