随笔分类 - 深度学习
摘要：论文简介 论文提出一个新的框架，通过对抗过程评估生成模型。论文中同时训练两个网络：一个生成模型G用来捕获数据分布，一个有识别力的模型D用来评估来自训练数据样本的可能性。G的训练过程是去最大化D犯错的可能性。这个框架对应一个minimax的双人游戏。在G和D的任意函数空间，存在一个独特的解，G回复训练
阅读全文
摘要：BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding 介绍 谷歌智能语言实验室的Jacob Devlin，Ming-Wei Chang等人提出一种新的语言表征模型——BERT（Bidirecti
阅读全文
摘要：摘要 主流的序列转换模型都是基于复杂的循环或者卷积神经网络，需要进行解码器和编码器处理。表现最好的模型也是基于注意力机制，并连接编码器和解码器。本文提出一个新的简单网络结构：Transformer，同样基于注意力机制，不再依赖RNN或者CNN。基于两种机器翻译任务的实验显示这些模型质量更优同时并行度
阅读全文
摘要：论文简介 该论文提出深度神经网络的深度对于大规模图像识别模型的表现有显著提升。模型使用3*3的小型卷积过滤器和较小的卷积层步幅，并且其神经网络层数达到了16-19层。基于这些发现在ImageNet-2014比赛中取得了第一名和第二名。并且该模型在其他类型的图像数据集上也具有泛化性，具有良好的迁移能力
阅读全文
摘要：论文介绍 ImageNet Classification with Deep Convolutional Neural Networks- Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton 该论文是 ImageNet Large-Scal
阅读全文
摘要：本次项目首先使用CNN卷积神经网络模型进行训练，最终训练效果不太理想，出现了过拟合的情况。准确率达到0.72，loss达到0.54。使用预训练的VGG模型后，在测试集上准确率达到0.95，取得了不错的改进效果。受益于VGG模型的可迁移性，它在图像特征提取方面有比较好的表现，我们使用预训练的VGG模型
阅读全文
摘要：概述 Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner的论文《Gradient-Based Learning Applied to Document Recognition》提出使用CNN卷据神经网络来进行手写数字图片识别。
阅读全文
