收购阿里巴巴

2021年8月6日

摘要： 1：循环神经网络的基本思想 2:向后传播的推导过程（怎样进行参数优化） [注]最总选择哪一个ht可以选择最后一个也可以将所有的ht综合一下。 [注]Wih为输入的共享参数权重(weight)。Whh为记忆单元的共享参数权重(weight)。 [注]若i=0时，会出现记忆单元权重的k次方。如下图阅读全文

posted @ 2021-08-06 20:34 收购阿里巴巴阅读(46) 评论(0) 推荐(0) 编辑

27:RNN循环神经网络-时间序列表示

摘要： 1:时间序列的表示 [注] 第一种表示为:一个时间戳为一个batch,一个batch含有word num个单词,每个单词由word vec个特征构成第二种表示为:一个batch含有word num个单词,每个单词由word vec个特征构成 2:序列编码以及查询【注】nn.Embedding(p 阅读全文

posted @ 2021-08-06 19:20 收购阿里巴巴阅读(89) 评论(0) 推荐(0) 编辑

26:如何针对有限的数据量进行优化-数据增强

摘要： 1:数据量小的几种解决方案: [注]减小的参数量.规范化迫使一部分参数接近于0.数据增强. 2:Data argumentation 数据增强 (2.1)Flip翻转 [注] RandomHorizontalFlip()水平翻转 RandomVerticalFlip()竖直翻转这里的Random实阅读全文

posted @ 2021-08-06 17:19 收购阿里巴巴阅读(49) 评论(0) 推荐(0) 编辑

2021年8月5日

25:nn.module

摘要： 1:nn.Module的介绍 2.nn.module的好处（2.1）embed current layers现成的神经网络计算的模块（2.2）提供了Sequential容器 [注]在forward时，不需要多个forward只需要使用self.net(x)即可实现整个网络的forward。（2 阅读全文

posted @ 2021-08-05 18:46 收购阿里巴巴阅读(119) 评论(0) 推荐(0) 编辑

24:经典卷积神经网络

摘要： 1：经典卷积神经网络 (1)LeNet-5 (2)AlexNet （3）VGG 【注】VGG发现更小的卷积核有更好的效果 [注]c为channel (4)GoogLeNet inception网络结构 [注]Inception module主要是使用多个不同大小的卷积核，使得GoogLeNet在同一阅读全文

posted @ 2021-08-05 16:38 收购阿里巴巴阅读(52) 评论(0) 推荐(0) 编辑

2021年8月4日

23：normlize规范化-batch normalization

摘要： 1:为什么要进行normolize 【注】1：希望把输入的值控制在有效的范围内【注】希望能够进行高效的查询最优解。例如：当x2值大，x1值偏小时，w1的改变导致的影响较小，w2的改变导致的影响较大。 2:Normlization的种类 3：Batch Norm （3.1）Batch Norm的图解阅读全文

posted @ 2021-08-04 22:21 收购阿里巴巴阅读(132) 评论(0) 推荐(0) 编辑

22-2：卷积神经网络-池化

摘要： 1：池化层（1）Pooling(类似于downsampling) [注]leNet-5卷积神经网络中的Subsampling是向下采样中的隔行采样。而AlexNet之后的卷积神经网络则开始采用Max pooling或者是Avg sampling采样。（1.1）Max pooling最大采样（1 阅读全文

posted @ 2021-08-04 20:33 收购阿里巴巴阅读(57) 评论(0) 推荐(0) 编辑

2021年8月3日

22-1：卷积神经网络-卷积(convolution)

摘要： 1：卷积卷积操作在信号处理中的定义故卷积操作：对应单元元素相乘再相加（1）卷积核（1.1）锐化卷积核（1.2）模糊卷积核（1.3）边缘检测 2：卷积神经网络（2.1）卷积操作【注】 Kernel_channels:卷积核通道，表示使用的卷积核的种类个数 Input_channels: 阅读全文

posted @ 2021-08-03 20:21 收购阿里巴巴阅读(251) 评论(0) 推荐(0) 编辑

2021年8月2日

21:动量与学习率衰减

摘要： 1：动量Momentum（惯性）【注】简而言之：下一个梯度方向等于当前梯度的更新方向和上一个梯度方向的共同方向。【注】当β=0，α!=0完全退化成没有添加动量的梯度更新 [注]当α和β都不等于0，则动量β有效，最优化时避免陷入局部极小值。【注】在pytorch中只需要在优化器SGD中添加参数m 阅读全文

posted @ 2021-08-02 21:58 收购阿里巴巴阅读(293) 评论(0) 推荐(0) 编辑

20：减弱过拟合

摘要： 1：减弱过拟合reduce overfitting (1)regularization (1.1)Regularization函数 [注]λ为超参数（需要自己设置）迫使参数的一或者二范数逼近于0，。 decay衰减 (1.2)regularization的分类【注】pytorch中内嵌了L2-re 阅读全文

posted @ 2021-08-02 20:45 收购阿里巴巴阅读(37) 评论(0) 推荐(0) 编辑

收购阿里巴巴

公告