摘要: 我们通常是拿到一个任务,譬如图像分类、识别等,搜集好数据后就开始直接用模型进行训练,但是现实情况中,由于设备的局限性、时间的紧迫性等导致我们无法从头开始训练,迭代一两百万次来收敛模型,所以这个时候迁移学习就派上用场了。 什么是迁移学习? 迁移学习通俗来讲,就是运用已有的知识来学习新的知识,核心是找到 阅读全文
posted @ 2019-08-27 11:47 _再遇见 阅读(632) 评论(0) 推荐(0) 编辑
摘要: 神经网络本身包含了一系列特征提取器,理想的feature map应该是稀疏的以及包含典型的局部信息。通过模型可视化能有一些直观的认识并帮助我们调试模型,比如:feature map与原图很接近,说明它没有学到什么特征;或者它几乎是一个纯色的图,说明它太过稀疏,可能是我们feature map数太多了 阅读全文
posted @ 2019-08-27 11:35 _再遇见 阅读(1723) 评论(1) 推荐(0) 编辑
摘要: 回顾 简单的浅层神经网络,如三层的卷积神经网络等,在层数比较少的时候,有时候效果往往并没有那么好,在实验过程中发现,当尝试增加网络的层数,或者增加每一层网络的神经元个数的时候,对准确率有一定的提升,简单的说就是增加网络的深度与宽度,但这样做有两个明显的缺点: 更深更宽的网络意味着更多的参数,提高了模 阅读全文
posted @ 2019-08-27 11:13 _再遇见 阅读(1260) 评论(0) 推荐(0) 编辑
摘要: LeNet-5 LeNet-5网络结构来源于Yan LeCun提出的,原文为《Gradient-based learning applied to document recognition》,论文里使用的是mnist手写数字作为输入数据(32 * 32)进行验证。我们来看一下网络结构。 LeNet- 阅读全文
posted @ 2019-08-26 17:19 _再遇见 阅读(1719) 评论(0) 推荐(0) 编辑
摘要: 卷积神经网络的前向传播 1.输入层 >卷积层 输入是一个4*4 的image,经过两个2*2的卷积核进行卷积运算后,变成两个3*3的feature_map 以卷积核filter1为例(stride = 1 ): 计算第一个卷积层神经元$ o_{11} $的输入: $$\begin{align}net 阅读全文
posted @ 2019-08-26 17:03 _再遇见 阅读(1248) 评论(0) 推荐(0) 编辑
摘要: 为什么要用卷积神经网络? 为什么要用卷积神经网络? 传统神经网络的劣势 我们知道,图像是由一个个像素点构成,每个像素点有三个通道,分别代表RGB颜色,那么,如果一个图像的尺寸是(28,28,1),即代表这个图像的是一个长宽均为28,channel为1的图像(channel也叫depth,此处1代表灰 阅读全文
posted @ 2019-08-26 13:49 _再遇见 阅读(967) 评论(0) 推荐(0) 编辑
摘要: 卷积神经网络及卷积层或池化层大小的设置 卷积神经网络及卷积层或池化层大小的设置 (1)如何设计卷积神经网络架构 下面的正则化公式总结了一些经典的用于图片分类问题的卷积神经网络架构: 输入层→(卷积层+→池化层?)+→全连接层+ “+”表示一层或多层,“?”表示有或者没有 除了LeNet-5模型,20 阅读全文
posted @ 2019-08-06 21:36 _再遇见 阅读(3338) 评论(0) 推荐(0) 编辑
摘要: 在机器学习中,有很多的问题并没有解析形式的解,或者有解析形式的解但是计算量很大(譬如,超定问题的最小二乘解),对于此类问题,通常我们会选择采用一种迭代的优化方式进行求解。 这些常用的优化算法包括:梯度下降法(Gradient Descent),共轭梯度法(Conjugate Gradient),Mo 阅读全文
posted @ 2019-08-06 21:32 _再遇见 阅读(2330) 评论(0) 推荐(0) 编辑
摘要: Tensorflow一些常用基本概念与函数(四) 摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。 1、序言 本文所讲的内容主要为以下列表中 阅读全文
posted @ 2019-05-10 12:21 _再遇见 阅读(658) 评论(0) 推荐(0) 编辑
摘要: 一、tf函数 TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作. 阅读全文
posted @ 2019-05-10 12:20 _再遇见 阅读(464) 评论(0) 推荐(0) 编辑