随笔分类 - 深度学习
摘要：函数：tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None,name=None) #如果遇到这个问题：Rank mismatch: Rank of labels (received
阅读全文
摘要：一、简介 1) 使用单台机器或者单个GPU/CPU来进行模型训练，训练速度会受资源的影响，因为毕竟单个的设备的计算能力和存储能力具有一定的上限的，针对这个问题，TensorFlow支持分布式模型运算，支持多机器、多GPU、多CPU各种模型的组合运行方案的设计。(默认情况下，TensorFlow程序会
阅读全文
摘要：TensorFlow是谷歌推出的深度学习平台，目前在各大深度学习平台中使用的最广泛。 一、安装命令 pip3 install -U tensorflow --default-timeout=1800 -i https://mirrors.ustc.edu.cn/pypi/web/simple 上面是
阅读全文
摘要：简介： 说到BP(Back Propagation)算法，人们通常强调的是反向传播，其实它是一个双向算法：正向传播输入信号，反向传播误差信息。接下来，你将看到的，可能是史上最为通俗易懂的BP图文讲解，不信？来瞅瞅并吐吐槽呗！ 8.1 BP神经网络极简史 在神经网络（甚至深度学习）参数训练中，BP(B
阅读全文
摘要：简介： “天下武功，唯快不破”。欲速览无限风光，必攀险峰；欲速抵山底幽谷，则必滚陡坡。这滚山坡的道理，其实就是梯度递减策略，而梯度递减策略，则是BP算法成功背后的“男（ji）人（chu）”。想知道为啥，来一探究竟呗！ 一年多前，吴军博士写了一本畅销书《智能时代》[1]。书里提到，在人工智能领域，有一
阅读全文
摘要：5.1 网之初，感知机 我们知道，《三字经》里开篇第一句就是：“人之初，性本善”。那么对于神经网络来说，这句话就要改为：“网之初，感知机”。感知机（ Perceptrons ），基本上来说，是一切神经网络学习的起点。 很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅
阅读全文
摘要：简介： 王国维说过人有三重境界，对应的，“机器学习”也有三大类不同算法，而有着“中庸之道”的半监督学习可能就是未来机器学习的大趋势，它一步一步地走“像”人类！ 在前一个小节中，我们简单地谈了谈什么是“M-P神经元模型”，顺便用生活中生动的小案例，把激活函数和卷积函数的概念撸了一遍。下笔之处，尽显“神
阅读全文
摘要：简介： “那些在个人设备里，谦谦卑卑地为我们哼着歌曲的数字仆人，总有一天会成为我们的霸主！”在“忍无可忍，无需再忍”这句俗语背后，也隐藏中神经网络常用的“激活函数”和“卷积”的概念。知其道,用其妙,THIS IS HOW！ “那些在个人设备里，谦谦卑卑地为我们哼着歌曲的数字仆人，总有一天会成为我们的
阅读全文
摘要：简介： 现在的人工智能，大致就是用“硅基大脑”模拟或重现“碳基大脑的过程”。那么，在未来会不会出现“碳硅合一”的大脑或者全面超越人脑的“硅基大脑”呢？专家们的回答是“会的”。而由深度学习引领的人工智能，正在开启这样的时代。 在前面的小节中，我们仅仅泛泛而谈了机器学习、深度学习等概念，在这一小节，我们
阅读全文
摘要：简介： 当你和女朋友在路边手拉手一起约会的时候，你可曾想，你们之间早已碰撞出了一种神秘的智慧–深度学习。恋爱容易，相处不易，不断磨合，打造你们的默契，最终才能决定你们是否在一起。深度学习也一样，输入各种不同的参数，进行训练拟合，最后输出拟合结果。 恋爱又不易，且学且珍惜！ 【导言】目前人工智能非常火
阅读全文
摘要：既然我们已经有了前馈网络和CNN，为什么我们还需要序列模型呢？这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。另一个例子是英文句子，它包含一系列的单词。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非
阅读全文
摘要：1. 全连接层 经过前面若干次卷积+激励+池化后，终于来到了输出层，模型会将学到的一个高质量的特征图片全连接层。其实在全连接层之前，如果神经元数目过大，学习能力强，有可能出现过拟合。因此，可以引入dropout操作，来随机删除神经网络中的部分神经元，来解决此问题。还可以进行局部归一化、数据增强等操作
阅读全文
摘要：神经网络的来源 神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被H
阅读全文