随笔 - 383  文章 - 0  评论 - 0  阅读 - 35125 
06 2020 档案
模型实现举一反三
摘要:在很长一段时间里,大家都对深度学习模型有所误解,认为模型需要非常大量的数据训练,且只能过训练过的模式起作用——用猫的数据训练就只能识别猫,只有在训练数据中多次出现的模式才能被模型学习和应用,稍有变化,模型就无法正常工作。 实际上随着深度学习模型的发展,这些问题... 阅读全文
posted @ 2020-06-29 15:46 xieyan0811 阅读(57) 评论(0) 推荐(0) 编辑
Attention注意力机制
摘要:网上的文章总把Attention注意力机制和Transformer模型结合来讲,看起来非常复杂。实际上Attention不仅作用于自然语言处理领域,目前已是很通用的技术。本篇来看看Attention的原理,以及在各个领域的典型应用。 原理 越来越多的模型用到注... 阅读全文
posted @ 2020-06-29 15:45 xieyan0811 阅读(50) 评论(0) 推荐(0) 编辑
几种词嵌入方法
摘要:在自然语言处理中常常使用词嵌入。先来看看词嵌入是什么,以及为什么使用词嵌入。 为什么要使用词嵌入 以中文为例,词库中至少包括几千个字,几万个词,将其代入模型时,如果使用onehot编码,则变量有成千上万个维度,参数数量和计算量都非常庞大;且无法计算词间的近似性... 阅读全文
posted @ 2020-06-28 21:11 xieyan0811 阅读(139) 评论(0) 推荐(0) 编辑
深度学习资源
摘要:深度学习成为主流是近十年的事,且涉及的知识很多,即使是资深工程师也很难在短时间内学会。学习过程中也有很多弯路,从复习大学数学开始,学习算法原理,工具和框架,看论文,参考别人写的代码,参加大数据比赛。能坚持把以上步骤认真做完已经很难得,但似乎仍然很难建立对深度学... 阅读全文
posted @ 2020-06-28 21:10 xieyan0811 阅读(38) 评论(0) 推荐(0) 编辑
在机器学习中应用数学方法
摘要:我们从初中就开始学习指数和对数,但即使是程序员平时也很少用到这些方法。本篇就来看看如何使用它们解决具体问题。 指数 在多分类问题中,一般在最后一步使用Softmax,将数值转换成属于各个类别的概率,比如根据输入物品图片,通过一系列处理,判别它是衣服、鞋子、帽子... 阅读全文
posted @ 2020-06-28 21:10 xieyan0811 阅读(69) 评论(0) 推荐(0) 编辑
RNN循环神经网络公式总结
摘要:RNN网络 RNN模型计算分为两步,第一步,计算第t个时间步的隐藏层a;第二步,计算t步的预测值y。 其中Wax和Waa两组参数分别与前一层的激活a和当前数据x结合,也可将其合二为一,并与x和a的连接计算。 在RNN网络中最常用激活函数是tanh,有时也用... 阅读全文
posted @ 2020-06-23 11:47 xieyan0811 阅读(68) 评论(0) 推荐(0) 编辑
风格迁移
摘要:风格迁移应用非常有趣,通过风格迁移也可以看到深层网络如何在不同层次提取特征。 可以看到,不只是颜色发生了变化,边缘,色块,对比度,甚至是笔触­都转换成了明显的绘画效果. 《吴恩达深度学习》第四课第四周练习是一段风格迁移程序填空,编程语言为Keras,做完后... 阅读全文
posted @ 2020-06-21 17:29 xieyan0811 阅读(50) 评论(0) 推荐(0) 编辑
卷积网络CNN
摘要:卷积网络是近年来非常流行的网络结构,常用于处理图像(2维卷积)和自然语言(1维卷积)。在不明觉厉的情况下使用卷积层,往往使用别人设计的结构,凑参数往模型里塞,同复杂的原理书中的内容又有点对不上号。本篇从应用场景,具体用法入手,深入到每一个重要参数:具体用途、用... 阅读全文
posted @ 2020-06-19 11:20 xieyan0811 阅读(46) 评论(0) 推荐(0) 编辑
用Pytorch手工实现ResNet50
摘要:《吴恩达深度学习课程》第四课第二周的作业是:使用Keras和Tensorflow编写ResNet50,用程序实现题目中描述的网络结构。由于程序填空提供了不少示例,做完后仍感觉理解不透彻,又使用Pytorch实现了一遍。 ResNet50包含49个卷积层和1个全... 阅读全文
posted @ 2020-06-19 11:19 xieyan0811 阅读(147) 评论(0) 推荐(0) 编辑
搭建TensorFlow的GPU Docker环境
摘要:推荐的基础镜像列表 https://tianchi.aliyun.com/forum/postDetail?postId=67720 TensorFlow的GPU镜像 $ docker pull registry.cn-shanghai.aliyuncs.co... 阅读全文
posted @ 2020-06-19 11:18 xieyan0811 阅读(27) 评论(0) 推荐(0) 编辑
设置BatchSize
摘要:BatchSize是非常重要的超参数,它不仅影响训练速度,也影响模型精度。本篇来讨论如何选择BatchSize。 BatchSize是否越大越好? BatchSize一般指同时代入训练模型的实例个数,最直接的经验是如果GPU显存不大,又设置较大的BatchSi... 阅读全文
posted @ 2020-06-14 19:14 xieyan0811 阅读(232) 评论(0) 推荐(1) 编辑
归一化
摘要:为什么使用归一化 如果输入有多个feature,且它们的数值范围有很大差异,这样训练时学习率就不能设置得太大,以免大幅调参引发越界。反之,如果各个feature有相同的均值和方差,则可使用更高的学习率,使收敛更快。归一化解决了梯度爆炸和梯度消失的问题,使构建更... 阅读全文
posted @ 2020-06-14 19:13 xieyan0811 阅读(159) 评论(0) 推荐(0) 编辑
深度网络调参
摘要:重要的超参数 深度学习网络有很多超参数,下面列出了一些比较重要,常常需要调节的超参数。 最重要 学习率较重要 mini-batch size hidden units 网络层数 动量参数 学习率衰减算力不同的调参 算力不同、网络规模、数据量不同,也有不同的调参... 阅读全文
posted @ 2020-06-14 19:12 xieyan0811 阅读(52) 评论(0) 推荐(0) 编辑
避免过拟合
摘要:欠拟合和过拟合 欠拟合是指在训练集和测试集(或验证集)上模型效果都不好,一般由于模型能力不足导致;过拟合是指模型在训练集上表现好,而在测试集上表现不好,一般由于模型过度拟合了训练集中的噪声导致。本文主要讨论解决过拟合问题的方法。 L2正则化 无论机器学习还是深... 阅读全文
posted @ 2020-06-14 19:11 xieyan0811 阅读(66) 评论(0) 推荐(0) 编辑
激活函数
摘要:为什么使用激活函数 如果没有激活函数,神经网络就变成了线性模型,输出是输入的线性组合,使用一层与使用多层没有区别。如下式所示,输入为x,经过线性层计算出a1,将a1输入下个线性层得到a2,展开后可以看出,最终得到的仍然是wx+b的线性组合,只是参数值不同。 ... 阅读全文
posted @ 2020-06-11 21:36 xieyan0811 阅读(93) 评论(0) 推荐(0) 编辑
初始化网络参数
摘要:为什么要给网络参数赋初值 既然网络参数通过训练得到,那么其初值是否重要?设置初值不佳是否只影响收敛速度而不影响模型结果?网络参数是否可以设置为全0或者全1? 假设网络的参数W初值都是0,如下图所示,无论输入任何X,第一层的输出A将都为0,再向前传递到y也是0,... 阅读全文
posted @ 2020-06-11 21:35 xieyan0811 阅读(46) 评论(0) 推荐(0) 编辑
浅析梯度迭代算法
摘要:梯度迭代类算法已成为目前各种领域的主流算法。各种现实中的问题分解抽象成机器可以处理的形式之后,基本都可归类为图像、自然语言处理、决策、时序、强化学习这几种类型,而当今解决这些问题的顶尖算法中,梯度迭代(梯度上升或梯度下降)都占据主流地位,比如决策类问题的比赛中... 阅读全文
posted @ 2020-06-07 10:53 xieyan0811 阅读(73) 评论(0) 推荐(0) 编辑
Pytorch常用函数之一_数据类型
摘要:编程语言和自然语言一样,不理解的词越多,对全文的理解就越差。掌握必要的基础知识,让后期看代码更加流畅。 机器学习需要掌握数据处理工具Pandas、Numpy,同理,深度学习也需要掌握相应的工具,在Pytorch中数据存储在Tensor之中,本篇将介绍它们的基本... 阅读全文
posted @ 2020-06-05 18:24 xieyan0811 阅读(63) 评论(0) 推荐(0) 编辑
搭建深度学习的docker环境
摘要:介绍 深度学习一般依赖比较复杂的环境,每个项目需要的底层库各有不同,有时在github中下载的代码只能运行在版本较低的的工具链之上。想在一台机器上建立适合所有项目的环境非常困难,大多数情况下使用docker维护不同项目针对的不同环境。 CUDA是NVIDIA推... 阅读全文
posted @ 2020-06-04 19:08 xieyan0811 阅读(81) 评论(0) 推荐(0) 编辑
TorchVision
摘要:说明 很多基于Pytorch的工具集都非常好用,比如处理自然语言的torchtext,处理音频的torchaudio,以及处理图像视频的torchvision。 torchvision包含一些常用的数据集、模型、转换函数等等。当前版本0.5.0包括图片分类、语... 阅读全文
posted @ 2020-06-04 13:55 xieyan0811 阅读(36) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示