随笔分类 - 深度学习实践
摘要:反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上,反向传播仅指用于计算梯度的方法,而另一种算法,例如随机梯度下降,使用该梯度来进行学习。此外,反向传播经常被误解为仅适用于多层神经网络,但是原则上它可以计算任何函数的导数(对于一些函数,正确的响应是报告函数的导数是未定义的)。
阅读全文
摘要:深度神经网络,简单来理解就是含有多个隐藏层的网络。一个深度神经网络总会有一个输入层,一个输出层,还有中间多个隐藏层,隐藏层的维数决定了网络的宽度。无论是输入层、隐藏层还是输出层,每一层都是由多个感知器组成,所以深度神经网络又称多层感知机。
阅读全文
摘要:在第一节中我们了解到,神经元不是单纯线性的,线性函数是只要有输入x,必定会有一个输出y与之对应,而神经元接收到信号不会马上做出响应,它会等待输入信号强度增大到超过阈值才会有输出,这就好比往杯子中倒水,只有水超过杯子的上边缘才会溢出来。
阅读全文
摘要:当今社会,计算机在我们的生活和工作中扮演着重要的角色,人类使用计算机帮助他们进行大量的计算,通过计算机让每个人相互通信等等。但时代的进步让我们对计算机的要求越来越高,人类希望它能够从事越来越复杂的工作。乍看计算机进行计算以及通信工作的原理好像很复杂难懂,实际上计算机能够进行这些工作是因为人们已经给它设定好了程序,计算机只要按照这些程序规范执行就好了,这是一种单向的工作模式,这种情况下,计算机是完全不会“思考”的,只知道按程序执行指令,而我们却想赋予计算机思考的能力,这便是人工智能的起点
阅读全文
摘要:众所周知,通过Bilstm已经可以实现分词或命名实体标注了,同样地单独的CRF也可以很好的实现。既然LSTM都已经可以预测了,为啥要搞一个LSTM+CRF的hybrid model? 因为单独LSTM预测出来的标注可能会出现(I-Organization->I-Person,B-Organization ->I-Person)这样的问题序列。
阅读全文
摘要:在自然语言处理中(NLP,Natural Language ProcessingNLP,Natural Language Processing),分词是一个较为简单也基础的基本技术。常用的分词方法包括这两种:**基于字典的机械分词** 和 **基于统计序列标注的分词**。对于基于字典的机械分词本文不再赘述,可看[字典分词方法](https://spaces.ac.cn/archives/3908 "字典分词方法")。在本文中主要讲解基于深度学习的分词方法及原理,包括一下几个步骤:`1标注序列`,`2双向LSTM网络预测标签`,`3Viterbi算法求解最优路径`
阅读全文
摘要:
VGG网络是牛津大学Visual Geometry Group团队研发搭建,该项目的主要目的是证明增加网络深度能够在一定程度上提高网络的精度。VGG有5种模型,A-E,其中的E模型VGG19是参加ILSVRC 2014挑战赛使用的模型,并获得了ILSVRC定位第一名,和分类第二名的成绩。整个过程证明,通过把网络深度增加到16-19层确实能够提高网络性能。VGG网络跟之前学习的LeNet网络和AlexNet网络有很多相似之处,以下搭建的VGG19模型也像上一次搭建的AlexNet一样,分成了5个大的卷积层,和3个大的全链层,不同的是,VGG的5个卷积层层数相应增加了;同时,为了减少网络训练参数的数量,整个卷积网络均使用3X3大小的卷积
阅读全文

摘要:
AlexNet是2012年ILSVRC比赛的冠军,它的出现直接打破了沉寂多年的图片识别领域(在1998年出现LeNet-5网络一直占据图片识别的领头地位),给该领域带来了新的契机,并一步步发展至今,甚至打败了人类的识别精确度,可惜的是2017年的ILSVRC举办方宣布从2018年起将取消该比赛,因为目前的神经网络精确度已经达到跟高的程度了。但深度学习的步伐不会停止,人们将在其他方面进行深入的研究。
阅读全文

摘要:
支持向量机是在所有知名的数据挖掘算法中最健壮,最准确的方法之一,它属于二分类算法,可以支持线性和非线性的分类。发展到今天,SVM已经可以支持多分类了
阅读全文

摘要:
在现实生活中,我们遇到的数据大多数都是非线性的,因此我们不能用上一章线性回归的方法来进行数据拟合。但是我们仍然可以从线性模型着手开始第一步,首先对输入的数据进行加权求和
阅读全文

摘要:
在本节中将通过一个预测房屋价格的实例来讲解利用线性回归预测房屋价格,以及在tensorflow中如何实现
阅读全文

摘要:
TensorFlow™ 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库
阅读全文
