一天搞懂深度学习--李宏毅教程分享

原标题:【286页干货】一天搞懂深度学习(台湾资料科学年会课程)

        本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现,通俗易懂。一天的时间搞懂深度学习?其实并不是没有可能。

        深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Network ) 模型,但今日深度学习的技术和它的前身已截然不同,目前最好的语音识别和影像辨识系统都是以深度学习技术来完成,你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如:最近红遍大街小巷的 AlphaGo ),听完以后觉得心痒痒的,想要赶快使用这项强大的技术,却不知要从何下手学习,那这门课就是你所需要的。(关于深度学习的概述教程可见:http://www.cnblogs.com/liuyihai/p/8321299.html

以下是课程大纲:

什么是深度学习

深度学习的技术表面上看起来五花八门,但其实就是三个步骤:设定好类神经网络架构、订出学习目标、开始学习,这堂课会简介如何使用深度学习的工具 Keras,它可以帮助你在十分钟内完成深度学习的程序。另外,有人说深度学习很厉害、有各种吹捧,也有人说深度学习只是个噱头,到底深度学习和其他的机器学习方法有什么不同呢?这堂课要剖析深度学习和其它机器学习方法相比潜在的优势。

深度学习的各种小技巧

虽然现在深度学习的工具满街都是,想要写一个深度学习程序只是举手之劳,但要得到好的成果可不简单,训练过程中各种枝枝节节的小技巧才是成功的关键。本课程中将分享深度学习的实作技巧及实战经验。

CNN和RNN网络

这段课程要讲解卷积神经网络CNN和递归式类神经网络 RNN。

深度学习应用与展望

深度学习可以拿来做甚么?怎么用深度学习做语音识别?怎么用深度学习做问答系统?接下来深度学习的研究者们在意的是什么样的问题呢?

 

下面是课程全部PPT:

 

深度学习吸引了很大的关注:我相信,你之前肯定见到过很多激动人心的结果。图中是谷歌内部深度学习技术的使用趋势,可以看到从2015年第二季度开始,使用量呈直线上升。本讲义聚焦深度学习基础技术。

大纲:

报告第一部分:介绍深度学习

报告第二部分:关于训练深度神经网络的一些建议

报告第三部分:各种各样的神经网络

报告第四部分:下一股浪潮

报告1:深度学习介绍

深度学习有3步:神经网络架构--学习目标--学习。

这三个步骤都是以数据为基础的。

第3步:选择最佳的功能函数。

从原理上说,深度学习非常简单。

从函数的角度理解深度学习:第一步,是一个函数集;第二步,定义函数的拟合度;第三部,选择最佳函数。

人类大脑的构成

神经网络:神经元

激活函数的工作原理

不同的连接会导致不同的网络结构

完全连接的反向网络:S型网络

极深网络:从8层到19层,一直到152层。

全连接的反向网络:矩阵系统

输出层(选择)

问题:

下图中,总共有多少层?每一层有多少个神经元?

结构能自动决定吗?

第二步:学习目标,定义函数拟合度。

例子:识别“2”

训练数据:

准备训练数据:图像和相应的标签

学习目标

损失:一个好的函数应该让所有例子中的损失降到最小。

全局损失

第三步:学习!选择最佳函数。

如何选择最佳函数

梯度下降

梯度下降:综合多个参数考虑的时候,你发现什么问题了吗?

局部最小值:梯度下降从来不会保证可以获得全局最小值

反向传播

可以做什么?

第二部分:关于训练深度神经网络的一些小建议

第三部分:各种各样的神经网络

 

篇幅有限,PPT全文链接:

关注微信公众号

回复AI-01获取

 

posted @ 2018-02-14 22:00  在海一方美猴王  阅读(19030)  评论(0编辑  收藏  举报