随笔分类 - DL
1
Deep Learning
摘要:Softmax原理 ___ Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。 对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布 。softmax可以用于实现上述结果,具体计算公式为: $$ softmax(x_i) = \frac{e
阅读全文
摘要:手把手使用numpy搭建卷积神经网络 主要内容来自DeepLearning.AI的卷积神经网络 本文使用numpy实现卷积层和池化层,包括前向传播和反向传播过程。 在具体描述之前,先对使用符号做定义。 上标[I]表示神经网络的第Ith层。 a[4]表示第4层神经网络的激活值;$W^{[5]
阅读全文
摘要:从逻辑回归开始入门深度学习 本文主要来源于吴恩达《深度学习与神经网络》。本文根据课程内容做一个串联。 本文内容安排如下: 符号定义 逻辑回归LR:定义、实现、高效实现 浅层神经网络(2层):实现、优化 深度神经网络:实现、优化、应用 我们以一个分类问题作为研究背景。研究问题为判断输入图片是否为猫咪的
阅读全文
摘要:GAN 由Goodfellow等人于2014年引入的 生成对抗网络(GAN)是用于学习图像潜在空间的VAE的替代方案 。它们通过 强制生成的图像在统计上几乎与真实图像几乎无法区分,从而能够生成相当逼真的合成图像。 理解GAN的直观方式是想象一个伪造者试图创造一幅伪造的毕加索作品。起初,伪造者的任务非
阅读全文
摘要:变分自动编码器生成图片 从隐图像空间进行采样以创建全新的图像或编辑现有图像是目前创作AI最受欢迎和最成功的应用方式。 图像隐空间取样 图像生成的关键思想是开发表示的低维潜在空间(自然是矢量空间),其中任何点都可以映射到逼真的图像上。 能够实现该映射的模块,将潜在点作为输入并输出图像(像素网格),被称
阅读全文
摘要:风格迁移 风格迁移算法经历多次定义和更新,现在应用在许多智能手机APP上。 风格迁移在保留目标图片内容的基础上,将图片风格引用在目标图片上。 风格本质上是指在各种空间尺度上图像中的纹理,颜色和视觉图案;内容是图像的高级宏观结构。 实现风格迁移背后的关键概念与所有深度学习算法的核心相同:定义了一个损失
阅读全文
摘要:LSTM生成文本 "github地址" 使用循环神经网络生成序列文本数据。循环神经网络可以用来生成音乐、图像作品、语音、对话系统对话等等。 如何生成序列数据? 深度学习中最常见的方法是训练一个网络模型(RNN或者CNN)通过之前的tokens预测下一个或者之后的几个token序列。通常在处理文本数据
阅读全文
摘要:Keras API 目前为止,介绍的神经网络模型都是通过Sequential模型来实现的。Sequential模型假设神经网络模型只有一个输入一个输出,而且模型的网络层是线性堆叠在一起的。 这是一个经过验证的假设;配置非常普遍,到目前为止已经能够使用Sequential模型类覆盖许多任务和实际应用程
阅读全文
摘要:包括: 理解卷积神经网络 使用数据增强缓解过拟合 使用预训练卷积网络做特征提取 微调预训练网络模型 可视化卷积网络学习结果以及分类决策过程 介绍卷积神经网络,convnets,深度学习在计算机视觉方面广泛应用的一个网络模型。 卷积网络介绍 在介绍卷积神经网络理论以及神经网络在计算机视觉方面应用广泛的
阅读全文
摘要:机器学习类型 机器学习模型评估步骤 深度学习数据准备 特征工程 过拟合 解决机器学习问题的一般性流程 机器学习四分支 二分类、多分类以及回归问题都属于监督学习--目标是学习训练输入和对应标签之间的关系。 监督学习只是机器学习的冰山一角。机器学习主要分为4类:监督学习、非监督学习、半监督学习和强化学习
阅读全文
摘要:预测房价:回归问题 回归问题预测结果为连续值,而不是离散的类别。 波士顿房价数据集 通过20世纪70年代波士顿郊区房价数据集,预测平均房价;数据集的特征包括犯罪率、税率等信息。数据集只有506条记录,划分成404的训练集和102的测试集。每个记录的特征取值范围各不相同。比如,有0~1,1~12以及0
阅读全文
摘要:Reuters数据集下载速度慢,可以在我的 "repo库" 中找到下载,下载后放到~/.keras/datasets/目录下,即可正常运行。 构建神经网络将路透社新闻分类,一共有46个类别。因为有多个类别,属于多分类问题,而每条数据只属于一个类别,所以是单标签多分类问题;如果每条数据可以被分到多个类
阅读全文
摘要:IMDB数据集下载速度慢,可以在我的 "repo库" 中找到下载,下载后放到~/.keras/datasets/目录下,即可正常运行。)中找到下载,下载后放到~/.keras/datasets/目录下,即可正常运行。 电影评论分类:二分类 二分类可能是机器学习最常解决的问题。我们将基于评论的内容将电
阅读全文
摘要:神经网络入手[上] [x] 神经网络的核心部分 [x] Keras介绍 [ ] 使用Keras解决简单问题:分类和回归 神经网络剖析 神经网络的训练与下列对象相关: 网络层Layers,网络层结合形成神经网络模型; 输入数据以及对应标签; 损失函数,定义用来学习的反馈信号; 优化方法,定义学习过程。
阅读全文
摘要:理解深度学习需要熟悉一些简单的数学概念:Tensors(张量)、Tensor operations 张量操作、differentiation微分、gradient descent 梯度下降等等。 “Hello World” MNIST 手写数字识别 由上面的程序,我们了解了如何构建网络以及如何进行网
阅读全文
摘要:最近遇到数据样本数目不足的问题,自己写的增强工具生成数目还是不够,终于在网上找到一个数据增强工具包,足够高级,足够傻瓜。想要多少就有多少!再也不怕数据不够了! 简介 "Augmentor" 是一个Python包,旨在帮助机器学习任务的图像数据人工生成和数据增强。它主要是一种数据增强工具,但也将包含基
阅读全文
摘要:完整代码: " 点我" 欢迎star、fork;一起学习 网络用途 或者说应用场景:使用单层神经网络来识别一张图片是否是 猫咪 的图片。 数学表示 给定一张图片X 送到网络中,判断这张图片是否是猫咪的照片? 网络架构 多层神经网络处理过程: X [linear+relu](L1)
阅读全文
摘要:使用python手写实现单层神经网络[本质上学习logistic 回归的系数]。单层:有参数的一层;输入不算网络层。 网络用途 或者说应用场景:使用单层神经网络来识别一张图片是否是 猫咪 的图片。 数学表示 给定一张图片X 送到网络中,判断这张图片是否是猫咪的照片? 网络架构 单层神经网络: X
阅读全文
摘要:背景:在深度学习优化算法,如:Momentum、RMSprop、Adam中都涉及到指数加权平均这个概念。为了系统的理解上面提到的三种深度学习优化算法,先着重理解一下 指数加权平均 (exponentially weighted averages) 定义 指数移动平均(EMA)也称为指数加权移动平均(
阅读全文
摘要:大纲 1. 深度学习介绍 2. 深度学习训练的技巧 3. 神经网络的变体 4. 展望 深度学习介绍 深度学习介绍 深度学习属于机器学习的一种。介绍深度学习之前,我们先大致了解一下机器学习。 机器学习,拿监督学习为例,其本质上是要找到一个函数映射:输入数据(也就是训练样本)通过函数映射(也就是我们的机
阅读全文
1