摘要：
为什么卷积层计算量更低paddingStrided convolution多维卷积LeNet 参数卷积网络的好处参数共享稀疏连接经典网络实现LeNet-5AlexNetVGGResNet残差块identity blockconvolutional block残差网络为什么残差网络有用Network in Network & 1*1 convolutionsInception network mot... 阅读全文
摘要：
正交化 Orthogonalization单一评价指标保证训练、验证、测试的数据分布一致不同的错误错误分析数据分布不一致迁移学习 transfer learning多任务学习 Multi-task learning端到端的深度学习系统好处坏处Reference 这门课不是具体的技术，而是帮助你决定现在最有价值做的应该是什么 正交化 Orthogonalization 简单的说就是有些调整... 阅读全文
摘要：
训练、验证、测试划分的量要保证数据来自一个分布偏差方差分析如果存在high bias如果存在high variance正则化正则化减少过拟合的intuitionDropoutdropout分析其它正则化方法数据增加（data augmentation）early stoppingensemble归一化输入归一化可以加速训练归一化的步骤归一化应该应用于：训练、验证、测试梯度消失/爆炸权重初始化通过数... 阅读全文
摘要：
为什么深度学习发展了数据计算算法发展Logistics RegressionNumpyreshape的计算代价很小，所以你不确定数据维度的时候都可以放上一些解决潜在bug的trick做了归一化之后梯度下降更易收敛激活函数对于权值要做随机初始化为什么要深层网络Reference 为什么深度学习发展了 数据 对于小量数据来说，神经网络表现比线性回归、SVM 对于大量数据来说神经网络比SVM好 ... 阅读全文