ng-深度学习-课程笔记-0: 概述
课程概述
这是一个专项课程(Specialization)，包含5个独立的课程，学习这门课程后做了相关的笔记记录。
(1) 神经网络和深度学习
(2) 改善深层神经网络：超参数调试，正则化，优化
(3) 结构化机器学习项目
(4) 卷积神经网络
(5) 自然语言处理：搭建序列模型
下面根据各部分的课程笔记列了个链接清单。
(1) 神经网络和深度学习
了解NN的基础，如何建立NN，如何训练它，课程的最后建立一个DNN识别猫。
第一周-介绍深度学习：http://www.cnblogs.com/liaohuiqiang/p/7639551.html
什么是神经网络，如何用神经网络做监督学习，为什么深度学习会兴起。
第二周-神经网络中的逻辑回归：http://www.cnblogs.com/liaohuiqiang/p/7659719.html
二分类，逻辑回归，代价函数，梯度下降，计算图的导数计算，逻辑回归中的梯度下降，logistic代价函数的解释。
第二周-Python和向量化：http://www.cnblogs.com/liaohuiqiang/p/7663616.html
向量化，向量化，向量化逻辑回归，python中的广播，python / numpy中的向量说明。
第三周-浅层神经网络：http://www.cnblogs.com/liaohuiqiang/p/7744905.html
神经网络概览，神经网络表示，计算神经网络的输出，多个例子中的向量化，激活函数，为什么需要非线性激活函数，激活函数的导数，神经网络的梯度下降，随机初始化。
第四周-深层神经网络：http://www.cnblogs.com/liaohuiqiang/p/7759866.html
深度L层神经网络，前向传播，核对矩阵维度，为什么使用深层表示，前向和反向传播，参数和超参数，这和大脑有什么关系。
(2) 改善深层神经网络：超参数调试，正则化，优化
进行深度学习方面的实践，学习如何让使它表现更好（超参数的调整，正则化，诊断偏差和方差，以及一些高级优化算法，比如Momentum, RMAProp和Adam优化算法）。
讲解一些关于建立网络的”黑魔法“。
第一周-建立你的机器学习应用：http://www.cnblogs.com/liaohuiqiang/p/7770567.html
训练/验证/测试集，偏差和方差，机器学习基础，正则化，dropout正则，其它正则化方法，归一化输入，梯度消失，梯度爆炸，权重初始化，梯度的数值逼近，梯度检验。
第二周-优化算法：http://www.cnblogs.com/liaohuiqiang/p/7865792.html
Mini-batch梯度下降，指数加权平均，指数加权平均的偏差修正，动量梯度下降，RMSProp，Adam，学习率衰减，局部最优的问题
第三周-超参数调试，Batch正则：http://www.cnblogs.com/liaohuiqiang/p/7874818.html
调试处理，为超参数选择合适的范围，超参数训练的实践：Pandas VS Caviar，网络的归一化，Batch Norm为什么奏效，测试时的Batch Norm，softmax回归，深度学习框架和Tensorflow。
(3) 结构化机器学习项目
学习如何构建机器学习工程。
构建机器学习系统的策略改变了深度学习，比如把数据转成 [ 训练集/验证集/测试集 ] 的方式。
目前最好的训练方式是什么呢？如果你的训练集和测试集来自不同分布怎么办？这些在深度学习中更常见，你要怎么解决呢？什么时候应该用end-to-end，什么时候不该用？
这一门课，ng将和大家分享他学习到的课程，生产，部署，深度学习的产品。
这些材料大部分开设深度学习课的大学都没有提到，但ng认为这些可以让你的深度学习系统表现更好。
第一周-机器学习策略1：http://www.cnblogs.com/liaohuiqiang/p/7876270.html
为什么要应用机器学习策略，正交化，单一实数评估指标，满足和优化指标，训练集 / 开发集 / 测试集的分布，开发集和测试集的大小，什么时候改变开发集 / 测试集和评价指标，人类水平的行为，可避免偏差，理解人类水平的表现，超越人类水平，改善你的模型的表现。
第二周-机器学习策略2：http://www.cnblogs.com/liaohuiqiang/p/7880889.html
误差分析，处理标注错误的数据，快速搭建系统并迅速迭代，在不同的分布训练和测试，数据分布不一致时候的偏差方差分析，处理信息不匹配，迁移学习，多任务学习，端到端学习。
(4) 卷积神经网络
CNN，卷积神经网络，经常用于图像领域。这一门课将学习如何建立这样的模型。
第一周-卷积神经网络：http://www.cnblogs.com/liaohuiqiang/p/7884590.html
边缘检测，padding和步长，三维卷积，卷积网络，池化层，卷积神经网络的示例，为什么要卷积。
第二周-卷积神经网络的实例探究：http://www.cnblogs.com/liaohuiqiang/p/7887755.html
实例探究，经典网络，残差网络，网络中的网络以及1*1卷积，Inception网络，迁移学习，数据增强，计算机视觉现状
第三周-目标检测：http://www.cnblogs.com/liaohuiqiang/p/7892120.html
目标定位，特征点检测，目标检测，滑动窗口的卷积实现，边界框预测，交并比，非极大值限制，Anchor Boxes，yolo算法，候选区域。
第四周-人脸识别和风格迁移：http://www.cnblogs.com/liaohuiqiang/p/7892885.html
什么是人脸识别，一次学习，Siamese网络，三元组损失，脸部验证和二分类，深度卷积网络在学什么，风格迁移，延伸到一维和三维。
(5) 自然语言处理：搭建序列模型
学习序列模型，以及如何将它们应用于自然语言处理和其它问题。序列模型包括RNN, LSTM。
学习这些模型并将它们应用于序列数据（自然语言就是一组单词序列）。
第一周-循环序列模型：https://www.cnblogs.com/liaohuiqiang/p/9129251.html
RNN基本模型，不同类型的RNN，语言模型和序列生成，RNN的梯度消失，GRU，LSTM，双向RNN，深层RNN
第二周-自然语言处理与词嵌入：https://www.cnblogs.com/liaohuiqiang/p/9135837.html
词汇表征，使用词向量，词向量的特征，如何学习词向量，word2vec，负采样，情感分类
第三周-序列模型和注意力机制：https://www.cnblogs.com/liaohuiqiang/p/9147483.html
基本模型，选择最可能的句子，Beam搜索，Beam搜索和RNN的误差分析，注意力模型
