摘要： 论文：NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 综述 背景及问题 背景： 翻译： 翻译模型学习条件分布后，给定一个源句，通过搜索最大条件概率的句子，可以生成相应的翻译。 神经网络翻译：两个组件：第一个： 阅读全文

摘要： 例： 卷积公式： 卷积和卷积没有什么特别的关系，只是计算步骤比较像，成为卷积神经网络名字的由来。 感受野：单个感觉神经元的感受野是感觉空间的特定区域(如体表或视野)，在这个区域内，刺激会改变神经元的放电。 卷积神经网络的感受野 卷积神经网络的基本结构 卷积神经网络的组成部分 卷积层+ReLU(Con 阅读全文

摘要： 1. 基本思想 两个模型： 判别器：预测从生成器生成的样本的概率 生成器：生成样本时，最大化使得判别器发生错误的概率 最后得到唯一解：使得生成器生成的样本输入到判别器中，得到的概率全是1/2. // 伪装者无法被检查出来 判别器和生成器都是多层的，都可以通过反向传播的方式进行训练。 在训练期间和生成 阅读全文

摘要： 数据结构是技术面试中的重点，总结以下几种常见的必须熟练掌握数据结构。 数组和字符串是两种最基本的数据结构，连续内存； 链表和树是面试中出现频率最高的； 栈与递归密切相关，队列与广度优先遍历算法密切相关。 1. 数组 顺序存储数据。 预先分配内存：创建数组时，我们需要首先制定数组的容量大小，根据大小分 阅读全文

摘要： 神经网络分类 多层神经网络：模式识别 相互连接型网络：通过联想记忆去除数据中的噪声 1982年提出的Hopfield神经网络是最典型的相互连结型网络。 联想记忆 当输入模式为某种状态时，输出端要给出与之相应的输出模式。 如果输入模式与输出模式一致，称为自联想记忆，否则，称为异联想记忆。 Hopfie 阅读全文

摘要： RNN的长期依赖问题 什么是长期依赖？ 长期依赖是指当前系统的状态，可能受很长时间之前系统状态的影响，是RNN中无法解决的一个问题。 如果从(1) “ 这块冰糖味道真？”来预测下一个词，是很容易得出“ 甜 ”结果的。但是如果有这么一句话，(2)“ 他吃了一口菜，被辣的流出了眼泪，满脸通红。旁边的人赶 阅读全文

摘要： 继上一篇：Memory Network 1. 摘要 引入了一个神经网络，在一个可能很大的外部记忆上建立了一个recurrent attention模型。 该体系结构是记忆网络的一种形式，但与该工作中的模型不同，它是端到端培训的，因此在培训期间需要的监督明显更少，这使得它更适合实际环境。 它还可以看作 阅读全文

摘要： 图像检测的三个目的 & 对应的评价标准 Precision top1 预测结果和最后概率向量中的概率最大的选项一致，预测正确；否则，预测错误。 top5 预测结果出现在最后概率向量概率前五大的选项中，预测正确；否则，预测错误。 IoU 交并比（Intersection-over-Union，IoU） 阅读全文

摘要： 2015年，Facebook首次提出Memory Network。 应用领域：NLP中的对话系统。 1. 研究背景 大多数机器学习模型缺乏一种简单的方法来读写长期记忆。 例如，考虑这样一个任务:被告知一组事实或一个故事，然后必须回答关于这个主题的问题。 循环神经网络(RNN) 经过训练来预测下一个( 阅读全文