2018年10月19日

009-LSTM网络-长短记忆网络

摘要: 基于RNN网络的2个缺陷(全部记忆,梯度消失),现有RNN网络的升级版LSTM LSTM要做的一件事就是本次有选择的记忆用到下一次的递归工作中。 LSTM网络中,与RNN最大的区别,也是LSTM网络中最核心的东西就是控制记忆的参数C了 C是一个矩阵,用来和输入做内积,用实际的数字控制输入哪些该遗忘, 阅读全文

posted @ 2018-10-19 13:46 医疗兵皮特儿 阅读(320) 评论(0) 推荐(0) 编辑

008---递归神经网络-RNN

摘要: 常规神经网络: 常规的神经网络是各算各的,每个x之间都是独立的 递归神经网络: 递归神经网络要干的一件事就是,在隐藏层中,x1利用了x0的w,x2利用了x1的w,x3利用x2的w。。。。。以此类推 例如下面这个例子: x0表示“我出生” x1表示“在” x2表示“中国” xt表示“我说” xt+1就 阅读全文

posted @ 2018-10-19 11:38 医疗兵皮特儿 阅读(197) 评论(0) 推荐(0) 编辑

2018年10月17日

007-卷积神经网络03-前向传播-反向传播

摘要: 前向传播: 前向传播就是求特征图的过程 通常x和w有四个维度[编号,深度,高度,宽度] 反向传播: 先来复习一下反向传播的知识: 反向传播回来的是梯度,也就是偏导数 反向传播力有一个链式法则:对于反向传播(反着看),本层要往后面一层穿的的偏导=本层自身的偏导×上一层传过来的偏导 红色代表反向传播,绿 阅读全文

posted @ 2018-10-17 15:56 医疗兵皮特儿 阅读(344) 评论(0) 推荐(0) 编辑

006-卷积神经网络02-池化层,全连接层

摘要: 池化层(Pooling layer) 池化层干一件事:将特征图进行浓缩 两种方法:一种是max方法,一种是mean方法, max方法做的事就是在特征图中选定一个区域,选取里面的最大值,然后放在pooling的结果中 mean方法就是在特征图中选定一个区域,求这个区域的均值,然后放在pooling的结 阅读全文

posted @ 2018-10-17 15:15 医疗兵皮特儿 阅读(402) 评论(0) 推荐(0) 编辑

2018年10月16日

005-卷积神经网络01-卷积层

摘要: 网络要做的步骤:(一个中国人,给中国人教学,为什么要写一堆英语?) 1, sample abatch of data(数据抽样) 2,it through the graph ,get loss(前向传播,得到损失值) 3,backprop to calculate the geadiets(反向传 阅读全文

posted @ 2018-10-16 11:13 医疗兵皮特儿 阅读(288) 评论(0) 推荐(0) 编辑

2018年10月14日

004-神经网络

摘要: 神经网络公式与模型: 神经网络在计算机中的样子: 输入层和隐藏1层用w1链接,隐藏1和隐藏2层用w2链接,隐藏2层和输出层用w3链接。 那么w1应该是一个3×4的矩阵,表示有3个样本,4个特征。 线性很少能满足实际要求,于是非线性的函数出现了,max(0,w1x)称为激活函数 例如用sigmoid当 阅读全文

posted @ 2018-10-14 23:32 医疗兵皮特儿 阅读(174) 评论(0) 推荐(0) 编辑

003-神经网络基础-最优化,前向传播,反向传播

摘要: 最优化: 包括前向传播和反向传播 前向传播: 由w和x到损失函数loss的过程叫做前向传播 反向传播: 根据梯度下降的概念,找到最优的w的过程叫做反向传播。 做一件什么事情呢? 根据前向传播的w得到的loss,将loss反馈给上一次前向传播的w进行比较两次的w,看看哪个w使得loss小,那么就用小l 阅读全文

posted @ 2018-10-14 21:36 医疗兵皮特儿 阅读(466) 评论(0) 推荐(0) 编辑

002-神经网络基础-得分函数,SVM损失函数,正则化惩罚项,softmax函数,交叉熵损失函数

摘要: 得分函数: 将图片拉伸成一个一维矩阵x,也就是3072×1,最后要得出10个分类的得分值也就是10×1,那w就得是10×3072的矩阵,也就是10组3072个特征的权重值,乘以x,加上b,得到的一个10×1的矩阵,这个矩阵就是最终的每个分类的得分值。 假设将图像分为2×2个像素点,最后又3中类型,那 阅读全文

posted @ 2018-10-14 02:50 医疗兵皮特儿 阅读(1842) 评论(0) 推荐(0) 编辑

001-神经网络基础-K近邻算法

摘要: K-近邻算法: 如果K = 3,绿色圆点最近的3个邻居:2个红色三角,和1个蓝色矩形,少数从属多数,基于统计的算法,判定绿色圆点为红色三角一类。 如果K = 5,绿色圆点最近的5个邻居:2个红色三角,和3个蓝色矩形,少数从属多数,基于统计的算法,判定绿色圆点为蓝色矩形一类。 对于未知类别属性数据集中 阅读全文

posted @ 2018-10-14 01:52 医疗兵皮特儿 阅读(484) 评论(0) 推荐(0) 编辑

2018年10月11日

DBSCAN聚类算法

摘要: 基本概念:(Density-Based Spatial Clustering of Applications with Noise)基于密度的噪声应用空间聚类 核心对象:若某个点的密度达到算法设定的阈值则其为核心点。(即r 邻域内点的数量不小于minPoints) ϵ-邻域的距离阈值:设定的半径r 阅读全文

posted @ 2018-10-11 15:23 医疗兵皮特儿 阅读(239) 评论(0) 推荐(0) 编辑

导航