03 2021 档案
摘要：整个优化系列文章列表： Deep Learning 之 最优化方法 Deep Learning 最优化方法之SGD Deep Learning 最优化方法之Momentum（动量） Deep Learning 最优化方法之Nesterov(牛顿动量) Deep Learning 最优化方法之AdaG
阅读全文
摘要：批归一化方法方法（Batch Normalization，BatchNorm）是由Ioffe和Szegedy于2015年提出的，已被广泛应用在深度学习中，其目的是对神经网络中间层的输出进行标准化处理，使得中间层的输出更加稳定。 通常我们会对神经网络的数据进行标准化处理，处理后的样本数据集满足均值为0
阅读全文
摘要：一、卷积（Convolution） 那么究竟什么是卷积呢？你可能还记得我之前的博客，我们使用了一个小的滤波器（Filter），并在整个图像上滑动这个滤波器。然后，将图像的像素值与滤波器中的像素值相乘。使用深度学习的优雅之处在于我们不必考虑这些滤波器应该是什么样的（神经网络会自动学习并选取最佳的滤波器
阅读全文
摘要：print()和pprint()都是python的打印模块，功能基本一样，唯一的区别就是pprint()模块打印出来的数据结构更加完整，每行为一个数据结构，更加方便阅读打印输出结果。特别是对于特别长的数据打印，print()输出结果都在一行，不方便查看，而pprint()采用分行打印输出，所以对于数
阅读全文
摘要：函数：tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None,name=None) #如果遇到这个问题：Rank mismatch: Rank of labels (received
阅读全文
摘要：一、简介 1) 使用单台机器或者单个GPU/CPU来进行模型训练，训练速度会受资源的影响，因为毕竟单个的设备的计算能力和存储能力具有一定的上限的，针对这个问题，TensorFlow支持分布式模型运算，支持多机器、多GPU、多CPU各种模型的组合运行方案的设计。(默认情况下，TensorFlow程序会
阅读全文
摘要：TensorFlow是谷歌推出的深度学习平台，目前在各大深度学习平台中使用的最广泛。 一、安装命令 pip3 install -U tensorflow --default-timeout=1800 -i https://mirrors.ustc.edu.cn/pypi/web/simple 上面是
阅读全文
摘要：简介： 说到BP(Back Propagation)算法，人们通常强调的是反向传播，其实它是一个双向算法：正向传播输入信号，反向传播误差信息。接下来，你将看到的，可能是史上最为通俗易懂的BP图文讲解，不信？来瞅瞅并吐吐槽呗！ 8.1 BP神经网络极简史 在神经网络（甚至深度学习）参数训练中，BP(B
阅读全文
摘要：简介： “天下武功，唯快不破”。欲速览无限风光，必攀险峰；欲速抵山底幽谷，则必滚陡坡。这滚山坡的道理，其实就是梯度递减策略，而梯度递减策略，则是BP算法成功背后的“男（ji）人（chu）”。想知道为啥，来一探究竟呗！ 一年多前，吴军博士写了一本畅销书《智能时代》[1]。书里提到，在人工智能领域，有一
阅读全文
摘要：5.1 网之初，感知机 我们知道，《三字经》里开篇第一句就是：“人之初，性本善”。那么对于神经网络来说，这句话就要改为：“网之初，感知机”。感知机（ Perceptrons ），基本上来说，是一切神经网络学习的起点。 很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅
阅读全文
摘要：简介： 王国维说过人有三重境界，对应的，“机器学习”也有三大类不同算法，而有着“中庸之道”的半监督学习可能就是未来机器学习的大趋势，它一步一步地走“像”人类！ 在前一个小节中，我们简单地谈了谈什么是“M-P神经元模型”，顺便用生活中生动的小案例，把激活函数和卷积函数的概念撸了一遍。下笔之处，尽显“神
阅读全文
摘要：简介： “那些在个人设备里，谦谦卑卑地为我们哼着歌曲的数字仆人，总有一天会成为我们的霸主！”在“忍无可忍，无需再忍”这句俗语背后，也隐藏中神经网络常用的“激活函数”和“卷积”的概念。知其道,用其妙,THIS IS HOW！ “那些在个人设备里，谦谦卑卑地为我们哼着歌曲的数字仆人，总有一天会成为我们的
阅读全文
摘要：简介： 现在的人工智能，大致就是用“硅基大脑”模拟或重现“碳基大脑的过程”。那么，在未来会不会出现“碳硅合一”的大脑或者全面超越人脑的“硅基大脑”呢？专家们的回答是“会的”。而由深度学习引领的人工智能，正在开启这样的时代。 在前面的小节中，我们仅仅泛泛而谈了机器学习、深度学习等概念，在这一小节，我们
阅读全文
摘要：简介： 当你和女朋友在路边手拉手一起约会的时候，你可曾想，你们之间早已碰撞出了一种神秘的智慧–深度学习。恋爱容易，相处不易，不断磨合，打造你们的默契，最终才能决定你们是否在一起。深度学习也一样，输入各种不同的参数，进行训练拟合，最后输出拟合结果。 恋爱又不易，且学且珍惜！ 【导言】目前人工智能非常火
阅读全文
摘要：既然我们已经有了前馈网络和CNN，为什么我们还需要序列模型呢？这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。另一个例子是英文句子，它包含一系列的单词。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非
阅读全文
摘要：1. 全连接层 经过前面若干次卷积+激励+池化后，终于来到了输出层，模型会将学到的一个高质量的特征图片全连接层。其实在全连接层之前，如果神经元数目过大，学习能力强，有可能出现过拟合。因此，可以引入dropout操作，来随机删除神经网络中的部分神经元，来解决此问题。还可以进行局部归一化、数据增强等操作
阅读全文
摘要：神经网络的来源 神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被H
阅读全文
摘要：（一） 特征工程需要根据实际的业务场景进行处理 数据与特征处理 1. 数据选择/清洗/采样 2. 数值型/类别型/日期型/文本型特征处理 3. 组合特征处理 特征选择 1. Filter/Wrapper/Embedded 三种特征选择方式及开发包/案例 特征：数据中抽取出来的对结果预测有用的信息 特
阅读全文
摘要：在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，然而，单纯学习机器学习的算法流程，可能仍然不会使用这些算法，尤其是应用到实际问题的时候，常常不知道怎么提取特征来建模。特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。 特征工程的重要意义数据特征会直接影响
阅读全文
摘要：隐含马尔可夫模型（Hidden Markov Model，HMM）最初是在20世纪60年代后半期，由Leonard E. Baum和其他一些作者在一系列统计学论文中描述的。其最初应用于语音识别领域。 1980年代后半期，HMM开始应用到生物序列，尤其是DNA序列的分析中。随后，在生物信息学领域，HM
阅读全文