随笔分类 - 深度学习
摘要：最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？
阅读全文
摘要：处理数据样本的代码会因为处理过程繁杂而变得混乱且难以维护，在理想情况下，我们希望数据预处理过程代码与我们的模型训练代码分离，以获得更好的可读性和模块化，为此，PyTorch提供了torch.utils.data.DataLoader 和 torch.utils.data.Dataset两个类用于数据处理。其中torch.utils.data.DataLoader用于将数据集进行打包封装成一个可迭代对象，torch.utils.data.Dataset存储有一些常用的数据集示例以及相关标签。
阅读全文
摘要：计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvision.transforms提供的丰富多样的图像变换API进行整理介绍。
阅读全文
摘要：训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboard就完美的提供了这些功能。不过现在经过Pytorch团队的努力，TensorBoard已经集成到了Pytorch中，只要安装有pytorch也可以直接使用TensorBoard。
Tensorboard同时提供了后端数据记录功能和前端数据可视化功能。通过后端数据记录功能，我们可以将需要追踪的性能指标写入到指定文件；通过前端数据可视化功能，我们可是实时查看当前训练情况。
在接下来的文章中，将对TensorBoard的使用方法进行介绍，如果你还没有安装，可以通过一下命令进行安装。注意，虽然torch集成有TensorBoard，但是并不完整，需要使用下面命令完整安装后，才能开启TensorBoard的WEB应用。
阅读全文
摘要：前几篇博文中介绍了Transformer，由于其优越的性能表现，在工业界使用的越来越广泛，同时，配合迁移学习理论，越来越多的Transformer预训练模型和源码库逐渐开源，Huggingface就是其中做的最为出色的一家机构。Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其所提供的大量预训练模型和代码等资源被广泛的应用于学术研究当中。Huggingface所开源的Transformers提供了数以千计针对于各种任务的预训练模型模型，开发者可以根据自身的需要，选择模型进行训练或微调，也可阅读api文档和源码， 快速开发新模型。
阅读全文
摘要：训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboard就完美的提供了这些功能。不过现在经过Pytorch团队的努力，TensorBoard已经集成到了Pytorch中，只要安装有pytorch也可以直接使用TensorBoard。
Tensorboard同时提供了后端数据记录功能和前端数据可视化功能。通过后端数据记录功能，我们可以将需要追踪的性能指标写入到指定文件；通过前端数据可视化功能，我们可是实时查看当前训练情况。
阅读全文
摘要：古语有言：“它山之石可以攻玉”，迁移学习就是这么一种思想，将在其他训练集上训练好的神经网络迁移到目标任务上。自打迁移学习的思想提出后，在工业实践上，就很少有人会从头开始（随机初始化）训练网络。
阅读全文
摘要：2017年6月谷歌发布论文《Attention is All You Need》，提出Transformer这一引燃机器学习领域的算法。数年过去，Transformer算法在计算机视觉、自然语言处理等众多应用领域展现了极为惊艳的表现。
大家都是神经网络，为何你的腰椎间盘却如此突出？
可以说，Transformer是完全基于自注意力机制的一个深度学习模型，且适用于并行化计算，导致它在精度和性能上都要高于之前流行的RNN循环神经网络。
在接下来的篇幅中，我们来详细梳理Transformer算法各个细枝末节原理，并结合B站视频教程：【Transformer为什么比CNN好！】中的代码实现，展示Transformer的整个建模流程。
阅读全文
摘要：生成对抗网络（Generative Adversarial Networks, GAN）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的学习方法之一。
阅读全文
摘要：循环神经网络（Recurrent Neural Network，RNN）是一种别具一格的网络模型，其循环元节点不仅可以接上来自上层的输入数据，也可以接收自身上一次迭代的输出，基于这种特殊的结构，循环神经网络拥有了短期记忆能力，通过“记忆”保存了数据间的关联关系，所以尤为适合处理语言、文本、视频等时序相关的数据。
阅读全文
摘要：神经网络算法有时候又被称为深度学习，究其原因就是因为神经网络模型可以通过添加网络层数来扩展网络的深度以获得更优越的性能。以CNN网络为例，卷积层数越多，模型越能够提取到更高层次的特征，信息更加丰富。所以，我们不禁要猜想，是不是网络的深度越深，模型的性能越好。如果真是这样，那神经网络就是近乎无所不能的算法，没有什么是添加一层网络不能解决的，如果有，那就添加两层。
阅读全文
摘要：GoogLeNet是在2014年由Google团队在论文《Going deeper with convolutions》中提出的一个卷积神经网络算法，并成功斩获当年的ImageNet大赛的冠军（上篇博客中的VGG网络获得第二名）。与VGG网络相比，GoogLeNet对网络结构做出了根据创新性的大胆改变
阅读全文
摘要：VGG的实质是AlexNet结构的增强版，它将卷积层的深度提升到了19层，并且在2014年的ImageNet大赛中的定位问题中获得了亚军（冠军是GoogLeNet，将在下一篇博客中介绍）。
阅读全文
摘要：上文中实现了LeNet-5卷积网络，不可否认这是一个十分经典的网络结构，但是迫于种种复杂的现实场景限制，只能在一些领域应用，所以在接下来的10年间，卷积网络的锋芒一度被SVN算法覆盖，指导2012年AlexNet的提出。
阅读全文
摘要：LeNet-5科学家Yann LeCun在1998年发表论文《Gradient based learning applied to document-recognition》上提出的一个神经网络模型，是最早期的卷积神经网络，论文中，作者将LeNet-5应用于于灰度图像的数字识别中获得了不错的效果。关于LeNet-5卷积神经网络原理，在上一篇介绍卷积神经网络入门博客中已经阐述清楚，本篇中，我们主要对LeNet-5使用TensorFlow进行实现。
阅读全文
摘要：卷积神经网络（Convolutional Neural Networks）,通常我们将之简称为ConvNets或者CNN，它是一种在图像识别和分类领域十分流行且行之有效的神经网络。目前，CNN网络已经作为一种非常重要且实用的工具成功应用于人脸识别、机器人和自动驾驶中的目标识别、信号灯识别等应用中。因此，学习卷积神经网络是以前十分有必要的事情。
阅读全文
摘要：人工神经网络（Artificial Neural Network，ANN） 是一种受人脑生物神经网络信息处理方式启发而诞生的一种计算模型，得益于语音识别、计算机视觉和文本处理方面的许多突破性成果，人工神经网络在机器学习研究和工业领域引起了强烈反响。本篇博客将对人工神经网络算法进行介绍。
阅读全文
