随笔分类 -  吴恩达《深度学习》

吴恩达《深度学习》第五门课（3）序列模型和注意力机制
摘要：3.1序列结构的各种序列 （1）seq2seq：如机器翻译，从法文翻译成英文，将会是下面这样的结构，包括编码网络和解码网络。 （2）image to sequence：比如给一幅图像添加描述，如下图中的“一只猫站在椅子上”。同样包括编码网络和解码网络。 3.2选择最可能的句子 （1）机器翻译的本质就 阅读全文
posted @ 2018-07-24 22:14 ysyouaremyall 阅读(1242) 评论(1) 推荐(0) 编辑
吴恩达《深度学习》第五门课（2）自然语言处理与词嵌入
摘要：2.1词汇表征 （1）使用one-hot方法表示词汇有两个主要的缺点，以10000个词为例，每个单词需要用10000维来表示，而且只有一个数是零，其他维度都是1，造成表示非常冗余，存储量大；第二每个单词表示的向量相乘都为零（正交），导致没能够表示是词汇之间的联系，比如oriange和apple,qu 阅读全文
posted @ 2018-07-22 19:22 ysyouaremyall 阅读(1860) 评论(2) 推荐(3) 编辑
吴恩达《深度学习》第五门课（1）循环序列模型（RNN）
摘要：1.1为什么选择序列模型 （1）序列模型广泛应用于语音识别，音乐生成，情感分析，DNA序列分析，机器翻译，视频行为识别，命名实体识别等众多领域。 （2）上面那些问题可以看成使用（x，y）作为训练集的监督学习，但是输入与输出的对应关系有非常多的组合，比如一对一，多对多，一对多，多对一，多对多（个数不同 阅读全文
posted @ 2018-07-21 16:02 ysyouaremyall 阅读(2296) 评论(0) 推荐(1) 编辑
吴恩达《深度学习》第四门课（4）特殊应用：人脸识别和神经风格迁移
摘要：4.1什么是人脸识别 （1）人脸验证（face verification）:1对1，输入一个照片或者名字或者ID，然后判断这个人是否是本人。 （2）人脸识别（face recognition）:1对多，判断这个人是否是系统中的某一个人。 4.2One-shot学习 （1）比如一个公司的员工，一般每个 阅读全文
posted @ 2018-07-18 20:50 ysyouaremyall 阅读(1292) 评论(0) 推荐(0) 编辑
吴恩达《深度学习》第四门课（3）目标检测（Object detection）
摘要：3.1目标定位 （1）案例1：在构建自动驾驶时，需要定位出照片中的行人、汽车、摩托车和背景，即四个类别。可以设置这样的输出，首先第一个元素pc=1表示有要定位的物体，那么用另外四个输出元素表示定位框的中心坐标和宽高，再用3个输出元素one-hot表示是三个类别中的哪一类。当第一个元素pc=0时表示是 阅读全文
posted @ 2018-07-17 23:15 ysyouaremyall 阅读(2525) 评论(2) 推荐(0) 编辑
吴恩达《深度学习》第四门课（2）卷积神经网络：实例探究
摘要：2.1为什么要进行实例探究 （1）就跟学编程一样，先看看别人怎么写的，可以模仿。 （2）在计算机视觉中一个有用的模型，，用在另一个业务中也一般有效，所以可以借鉴。 （3）本周会介绍的一些卷积方面的经典网络经典的包括：LeNet、AlexNet、VGG；流行的包括：ResNet、Inception，如 阅读全文
posted @ 2018-07-16 22:25 ysyouaremyall 阅读(931) 评论(0) 推荐(0) 编辑
吴恩达《深度学习》第四门课（1）卷积神经网络
摘要：1.1计算机视觉 （1）计算机视觉的应用包括图像分类、目标检测、图像分割、风格迁移等，下图展示了风格迁移案例： （2）图像的特征量非常之大，比如一个3通道的1000*1000的照片，其特征为3*1000*1000达到300万，如果第一个隐藏层有1000个单元那么W[1]有20亿个参数，计算量不仅大， 阅读全文
posted @ 2018-07-15 22:03 ysyouaremyall 阅读(2397) 评论(4) 推荐(0) 编辑
吴恩达《深度学习》第三门课（2）机器学习策略二
摘要：2.1进行误差分析 （1）一识别猫为案例，错误率为10%，这时系统还可以有较大提升空间，这时该往哪方面努力呢？可以通过误差分析，具体可以拿出100个分类错误的样本，然后利用表格统计每个样本分类错误的原因（如下图所示），比如很模糊，狗和猫很像，有滤镜等，一个样本出错可以同时有多个原因，统计看因为什么原 阅读全文
posted @ 2018-07-15 10:34 ysyouaremyall 阅读(665) 评论(0) 推荐(1) 编辑
吴恩达《深度学习》第二门课（3）超参数调试、Batch正则化和程序框架
摘要：3.1调试处理 （1）不同超参数调试的优先级是不一样的，如下图中的一些超参数，首先最重要的应该是学习率α（红色圈出），然后是Momentum算法的β、隐藏层单元数、mini-batch size（黄色圈出）、再之后是Layer、learning rate decay（紫色圈出）、最后是Adam算法中 阅读全文
posted @ 2018-07-14 13:30 ysyouaremyall 阅读(743) 评论(2) 推荐(0) 编辑
吴恩达《深度学习》第二门课（2）优化算法
摘要：2.1Mini-batch梯度下降 （1）例如有500万个训练样本，这时可以每1000个组成一个Mini-batch,共用5000个Mini-batch。主要是为了加快训练。 （2）循环完所有的训练样本称为（1 epoch）。 （3）使用大括号X{t},Y{t}表示一个Mini-batch。（小括号 阅读全文
posted @ 2018-07-11 22:37 ysyouaremyall 阅读(888) 评论(1) 推荐(1) 编辑
吴恩达《深度学习》第二门课（1）深度学习的实用层面
摘要：1.1训练，验证，测试集（Train/Dev/Test sets） （1）深度学习是一个按照下图进行循环的快速迭代的过程，往往需要多次才能为应用程序找到一个称心的神经网络。 （2）在机器学习中，通常将样本分成训练集，验证集和测试集三部分，数据规模相对较小，适合传统的划分比例（如6:2:2），数据集规 阅读全文
posted @ 2018-07-10 23:27 ysyouaremyall 阅读(831) 评论(0) 推荐(0) 编辑
吴恩达《深度学习》第一门课（4）深层神经网络
摘要：4.1深层神经网络 （1）到底是深层还是浅层是一个相对的概念，不必太纠结，以下是一个四层的深度神经网络： （2）一些符号定义： a[0]=x（输入层也叫做第0层） L=4：表示网络的层数 g:表示激活函数 第l层输出用a[l]，最终的输出用a[L]表示 n[1]=5:表示第一层有五个神经元，第l层神 阅读全文
posted @ 2018-07-09 23:19 ysyouaremyall 阅读(856) 评论(0) 推荐(0) 编辑
吴恩达《深度学习》第一门课（3）浅层神经网络
摘要：3.1神经网络概述 （1）神经网络每个单元相当于一个逻辑回归，神经网络由逻辑回归的堆叠起来。下图是网络结构： 针对网络结构进行计算： 1.第一层的正向传播 2.第一层的反向传播 3.第二层的反向传播（正向只要把微分符号去掉即可） 3.2神经网络的表示 （1）神经网络各层分别较输入层、掩藏层和输出层， 阅读全文
posted @ 2018-07-09 21:52 ysyouaremyall 阅读(765) 评论(0) 推荐(0) 编辑
吴恩达《深度学习》第一门课（2）神经网络的编程基础
摘要：2.1二分类 （1）以一张三通道的64×64的图片做二分类识别是否是毛，输出y为1时认为是猫，为0时认为不是猫： y输出是一个数，x输入是64*64*3=12288的向量。 （2）以下是一些符号定义（数据集变成矩阵之后进行矩阵运算代替循环运算，更加高效） x：表示一个nx维数据，维度为（nx,1） 阅读全文
posted @ 2018-07-08 17:42 ysyouaremyall 阅读(1024) 评论(2) 推荐(0) 编辑
吴恩达《深度学习》第一门课（1）深度学习引言
摘要：1.1欢迎 主要讲了五门课的内容： 第一门课：神经网络基础，构建网络等； 第二门课：神经网络的训练技巧； 第三门课：构建机器学习系统的一些策略，下一步该怎么走（吴恩达老师新书《Machine Learning Yearning》就是针对这个以及上一课）； 第四门课：卷积神经网络相关； 第五门课：循环 阅读全文
posted @ 2018-07-08 14:33 ysyouaremyall 阅读(596) 评论(0) 推荐(0) 编辑