【公开课】李沐大佬:深度学习论文精读

李沐老师是我比较敬佩的深度学习“大神”,之前我在公众号推荐过他的两篇文章。

李沐大神新作:用梯度下降来优化人生

亚马逊首席科学家李沐博士:工作五年反思

也推荐过他的著作:全球175所大学教材:《动手学深度学习》(中文版下载)

可能还有同学不知道李沐,这里简单介绍一下他的履历。

他是硅谷华人技术人才,深度学习框架MXNet作者之一,也是《动手学深度学习》作者之一。

2004年,李沐从计算机系ACM班毕业。上海交通大学ACM班是以培养计算机科学家而闻名的“特色班”,自大学起李沐就开启了他的开挂人生。

  • 微软亚洲研究院实习,2007 年夏
  • 香港科技大学研究助理,2009 - 2010
  • 百度高级研究员, 2011.4 - 2012.8
  • Google Research 实习生,2013 年夏
  • CMU 读博士,2012-2017
  • 百度首席架构师,2014.4-2015.12
  • 亚马逊首席科学家,2017 年 3 月至今

大佬百忙之中还布道技术,今天就再向大家推荐他的最新系列视频:深度学习论文精读

地址:
https://space.bilibili.com/1567748478/channel/seriesdetail?sid=398820

目前已更新了五节:

  • 如何读论文
  • 9年后重读深度学习奠基作之一:AlexNet
  • AlexNet 论文逐段精读
  • 撑起计算机视觉半边天的 ResNet
  • ResNet 论文逐段精读

后续将更新更多深度学习里有影响力论文:
1、Adam。深度学习里最常用的优化算法之一。
2、EfficientNet。通过架构搜索得到的CNN,现在常被使用。
3、BERT。让深度学习在NLP上热度超过了CV。
4、GPT3。朝着zero-shot learning迈了一大步。当然也得讲一讲GPT/GPT-2
5、GAN。生成类模型中的开创性工作。
6、CLIP。图片分类从此不用标数据。
7、Non-deep networks。21年10月的新工作,让不深的网络也能在ImageNet刷到SOTA。
8、为什么超大的模型泛化性不错
9、GNN介绍。Distill上最近一篇写得很好的介绍性文章。
10、AlphaGo。让强化学习出圈的一系列工作。

感兴趣的同学,学起来!

posted @ 2021-12-11 16:52  机器学习算法与Python  阅读(498)  评论(0编辑  收藏  举报