课程——《深度学习的优化方法》
课程链接:
https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2021/
Optimization Methods for Deep Learning
Slides and recordings
This section (and slides) will be continuously updated.
- Course information ( video )
- Optimization problems for deep learning
- Stochastic gradient methods for deep learning
- Gradient calculation
- Implementation
- Automatic differentiation
- Newton method
Projects
- Project 1: simple experiments using SG methods. Presentation: March 15. Discussion.
- Project 2: more experiments on SG methods. Presentation: March 29. Discussion.
- Project 3: checking running time of major operations. Presentation: April 19. Discussion.
- Project 4: Making the MATLAB Implementation Competitive with Tensorflow. Presentation: May 10. Discussion.
- Project 5: An investigation of Python profilers. Presentation: June 7
- Project 6: Robustness of newton methods and running time analysis. Presentation: June 21
Some explanation: we do not have a final exam, so the class should end on 6/14, which is a holiday. To give you more time on doing the project, the decision is to run the project 6 presentation on 6/21 and we decide not to have a class on 5/31.
Course Outline
Deep learning involves a difficult non-convex optimization problem. The goal of this course is to study the implementation of optimization methods for deep learning. We will run this course in the following formats:
- lectures (by the instructor)
- project presentations (by students): we will have many.
For potential students: you want to make sure that you are interested in optimization for deep learning.
We will heavily use the software simpleNN
Among the various types of networks, we will pay more attention to CNN.
You will get hands-on experiences in implementing a deep learning code
- Instructor: Chih-Jen Lin, Room 413, CSIE Building.
The best way to contact me is via e-mails. - TA: Cheng-Hung Liu (email: d07944009 at ntu.edu.tw) and Li-Chung Lin (email: r08922141 at ntu.edu.tw). TA hour: Wed. 14:00 ~ 15:00 online
- Time: Monday 10:20am-1pm
We will do two 10-minute breaks at around 11:10am and 12:10pm. The class ends at 1pm.
Place: room 105, CSIE building
- FAQ of this course
- This is an advanced course. We expect to take 15 to 20 students
- We will pre-record most lectures and broadcast them in the class. In the class I will give additional comments while the video is being played.
涉及的课程内容包括了深度学习的非凸优化问题,主要就是解决优化深度学习的难题。
这次的课程是 2021 春季版,授课教师是林智仁教授。
这门课没有期末考试,纯粹以项目来评分。
之前的课程的视频和 PPT 都已上传,所有课程都会在 6 月 14 号结束,现课程已面向全网开放。
而至于你们关心的,上完这门课程,你会获得什么?
首先,当然是深度学习优化的基础知识。
其次,课程将大量使用 simpleNN 软件。
在各种类型的网络中,课程将主要集中使用 CNN,有利于帮助你学习 CNN。
除此之外,学习这门课程,还能获得深度学习代码的动手实践经验。
老师表示,当然你得对优化和深度学习这两个领域有基本的了解。
至于所需要的技能,如果你之前了解 Python 和 Matlab / Octave,那当然是极好的。
都有哪些课程?
本次的课程,课程将包括老师讲课和一些学生进行项目介绍展示。
一共有 6 讲。
具体课程包括:
1. 深度学习的优化问题
a.线性分类
b.完全连接的网络
c.卷积网络
2. 深度学习的随机梯度方法
a.梯度下降
b.随机梯度法
c.关于不同动量更新规则的说明
3. 梯度计算
a.矢量形式
b.梯度计算
4. 执行
5. 自动区分
6. 牛顿法
a.基本知识
b.算法
c.高斯牛顿矩阵-矢量积
i.只使用落后工艺
ii.使用前进和后退过程
当然啦,除此之外,还有刚才提到的一些学生“项目展示”方面的内容。
教师团队
本次课程主要的指导老师,是林智仁教授。
他是密歇根大学博士,台湾大学计算机科学和信息工程系教授。
主要研究领域包括:
机器学习:
支持向量机(SVM),大规模数据分类和机器学习软件设计。
运筹学:
大规模非线性优化。
除此之外,还有助教团队将与你“并肩作战”。
包括了 Cheng-Hung Liu 和 Li-Chung Lin 。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
· 面试官:你是如何进行SQL调优的?
2020-06-03 skype邮件撤回——步骤