机器学习十讲——第九讲学习总结

应用

图像识别：IMAGENET。

机器翻译：Google神经机器翻译系统。

语音识别：

以往GMM-HMM传统方法一直未有突破，2011年使用DNN后获得较大突破，2015年，IBM再次将错误率降低到6.9%，接近人类的平均水平（4%）

游戏：DeepMind团队开发的自我学习玩游戏的系统。

       发展原因

大规模高质量标注数据集出现：IMAGENET

并行运算（如GPU）的发展

更好的非线性激活函数的使用：ReLU代替Logistic

更多优秀的网络结构的发明：ResNet，GoogleNet和AlexNet

深度学习开发平台的发展：TensorFlow，PyTorch和MXNet等

新的正则化技术出现：批标准化，Dropout等

更多稳健的优化算法：SGD的变种：RMSprop，Adam等。