学习笔记之深度学习（Deep Learning）

深度学习 - 维基百科，自由的百科全书 (wikipedia.org)

• 深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
• 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
• 表征学习的目标是寻求更好的表示方法并创建更好的模型来从大规模未标记数据中学习这些表示方法。表示方法来自神经科学，并松散地创建在类似神经系统中的信息处理和对通信模式的理解上，如神经编码，试图定义拉动神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。
• 至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和递归神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。
• 另外，“深度学习”已成为类似术语，或者说是神经网络的品牌重塑。

---

学习笔记之TensorFlow - 浩然119 - 博客园 (cnblogs.com)

MIT深度学习教程：一文看懂CNN、RNN等7种范例（TensorFlow教程）

• https://mp.weixin.qq.com/s/YFJLsaXxSwgPS2_lfD0gng

入门 | 献给新手的深度学习综述 - 机器学习算法与自然语言处理

• https://mp.weixin.qq.com/s/0tQuyU4cUpHBDM0Lh7K5Hg

入门最佳！MIT发布最新深度学习导论课，视频和代码都开源了

• https://mp.weixin.qq.com/s/cF5m6tOWlOPzr7QFevG5eA
• https://medium.com/tensorflow/mit-introduction-to-deep-learning-4a6f8dde1f0c?linkId=64189766
• 课程视频：
  • https://youtu.be/5v1JnYv_yWs?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI
• lab代码：
  • https://github.com/aamini/introtodeeplearning_labs/

资源|书籍《Python深度学习》推荐

• https://mp.weixin.qq.com/s/3PxuMaA9JgWGmhAudW5j7A

深度学习十年发展回顾：里程碑论文汇编

• https://mp.weixin.qq.com/s/AvqhPP9-eVum7mnynRTVqQ
• https://leogao.dev/2019/12/31/The-Decade-of-Deep-Learning/

---

BASIC

深度学习基础之 Dropout

• https://mp.weixin.qq.com/s/ECXiFq2UU1XIRH_JG8MD9g
• https://medium.com/towards-artificial-intelligence/an-introduction-to-dropout-for-regularizing-deep-neural-networks-4e0826c10395

干货|深度学习中的正则化技术概述（附Python+keras实现代码）

• https://mp.weixin.qq.com/s/29c831YAdPHmmythkXJUVQ
• https://www.analyticsvidhya.com/blog/2018/04/fundamentals-deep-learning-regularization-techniques/

深度学习中的Normalization模型

• https://mp.weixin.qq.com/s/DPB5g258IUFfcwpJ2ertiQ

---

BEST PRACTICE

资源|一份全面易懂的深度学习综述

• https://mp.weixin.qq.com/s/c_V5cva75AJnmQqZAkcLVA
• https://arxiv.org/pdf/1807.08169v1.pdf

数据科学家必知的 5 个深度学习框架

• https://mp.weixin.qq.com/s/qzCVtMLTRzBZji8i-LN8cQ

7个实用的深度学习技巧

• https://towardsdatascience.com/7-practical-deep-learning-tips-97a9f514100e

深度学习遇见代码搜索，一篇论文概览神经代码搜索

• https://mp.weixin.qq.com/s/B3Uv-dhB5VYJnu06N4lYBg
• https://arxiv.org/pdf/1905.03813v3.pdf

网络运行时间提高100倍，Google使用的AI视频理解架构有多强？

• https://mp.weixin.qq.com/s/xjQtVE-i-n1N9a0AsR6BWw
• https://ai.googleblog.com/2019/10/video-architecture-search.htm

深度干货！如何将深度学习训练性能提升数倍？ (qq.com)

学习一波~各大炼丹师deep learning（rnn、cnn）的调参经验

• https://mp.weixin.qq.com/s/ZfmwS7lmL2TdwXCBbOhRGQ

Pytorch有什么节省内存（显存）的小技巧？

• https://mp.weixin.qq.com/s/2tvSTR_wQ6V6BGA8F4D0tQ
• https://www.zhihu.com/question/274635237/answer/755102181

给训练踩踩油门——Pytorch加速数据读取

• https://mp.weixin.qq.com/s/jXaItEwH10-reaiH2pKztw
• https://zhuanlan.zhihu.com/p/80695364

模型不work怎么办？141页PPT告诉你怎么改模型

• https://mp.weixin.qq.com/s/DuLTEhCMg4ntTxQHIZnoBQ
• http://josh-tobin.com/assets/pdf/troubleshooting-deep-neural-networks-01-19.pdf

改善深度学习训练的trick总结 | CSDN博文精选

• https://mp.weixin.qq.com/s/QgVMlgbMR32XNAs2QNBxJg
• https://github.com/xuyiqiang-learn/SWA_keras

神经网络

一文读懂GoogLeNet神经网络 | CSDN博文精选

• https://mp.weixin.qq.com/s/WQqLF8UmyGq_ebSZ_2niEA

神经网络教程：从原理到优化如此简单 - 机器学习算法与自然语言处理

• https://mp.weixin.qq.com/s/VrrBLo-1RgPPIt3FJbO2mQ

简单理解神经网络几个基础问题

• https://mp.weixin.qq.com/s/z_WbYTR1XiHusGr5lj2XOA

训练神经网络时要知道的几个要点

• https://mp.weixin.qq.com/s/amy37hQTOt7sTBfzgsjOXQ

干货|各类优化算法及简单总结神经网络训练

• https://mp.weixin.qq.com/s/Ihxj4iE7GjrDXGUP7EFAAA

干货|通过函数图像，理解26种神经网络激活函数

• https://mp.weixin.qq.com/s/jI53YzxRzABUf5QYDPLhCw
• https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/

当深度强化学习遇见图神经网络

• https://mp.weixin.qq.com/s/BYI8j0Y4pAcsb6PFWUKOTQ

全连接神经网络的原理及Python实现

• https://mp.weixin.qq.com/s/LvQy3Ujq7p_SkbTL-qg96Q
• https://github.com/tushushu

33个神经网络「炼丹」技巧

• https://mp.weixin.qq.com/s/22LuQ1VDCz_4LRv-nstKHw
• https://karpathy.github.io/2019/04/25/recipe/

避免神经网络过拟合的5种技术（附链接） | CSDN博文精选

• https://mp.weixin.qq.com/s/np0H0D6kRFIBIYxIoyWwWQ

卷积神经网络（Convolutional Neural Network,CNN）

卷积有多少种？一文读懂深度学习中的各种卷积 - 机器学习算法与自然语言处理

• https://mp.weixin.qq.com/s/Fj4fU5eSmgFI0mkjPSNvsQ
• https://towardsdatascience.com/a-comprehensive-introduction-to-different-types-of-convolutions-in-deep-learning-669281e58215

秒懂各种深度CNN操作

• https://mp.weixin.qq.com/s/N85gA350s-lS5p-Q-vgeRA

10 大 CNN 核心模型完全解析（附源代码，已全部跑通）

• https://mp.weixin.qq.com/s/K4AGqhdy5RjqxXrGsP3eow
• https://zhuanlan.zhihu.com/p/66215918

卷积神经网络简介

• https://mp.weixin.qq.com/s/PU8L0fFV1GqtnjLwty2AdA
• https://towardsdatascience.com/simple-introduction-to-convolutional-neural-networks-cdf8d3077bac

干货|图文并茂讲述，通俗易懂的卷积解释

• https://mp.weixin.qq.com/s/jSybohzLInsh3r9_LwsW4A
• https://www.zhihu.com/question/22298352/answer/637156871

关于深度学习中的卷积，这些是你该懂得

• https://mp.weixin.qq.com/s/JiNARoKeBhcb4WQpiMYJ2w

卷积有多少种？一文读懂深度学习中的各种卷积

• https://mp.weixin.qq.com/s/Fj4fU5eSmgFI0mkjPSNvsQ

干货|全面理解卷积神经网络及其不同架构

• https://mp.weixin.qq.com/s/U0RjbyJ-Sp0kqmEsTd9NUg

---

APPLICATION

干货|实战TextCNN 文本分类

• https://mp.weixin.qq.com/s/vq4-4M46okms5_sxw9PBQA
• https://github.com/dennybritz/cnn-text-classification-tf
• https://github.com/rongshunlin/ModifyAI

基于深度学习的音乐推荐系统

• https://mp.weixin.qq.com/s/O5VzcDiAWoBLYXKo4THIYQ
• https://yishuihancheng.blog.csdn.net/

基于深度学习的人脸识别系统实战

• https://mp.weixin.qq.com/s/3s2k_3QlwLkM82fohOxwUw
• https://yishuihancheng.blog.csdn.net/

基于face_recognition构建的人脸识别系统及应用

• https://mp.weixin.qq.com/s/abGmTWPUmfGBastJ_5m8mA
• https://yishuihancheng.blog.csdn.net/

10分钟搭建你的第一个图像识别模型 | 附完整代码

• https://mp.weixin.qq.com/s/293_qdmfV4TPPViPb_tHsQ
• https://www.analyticsvidhya.com/blog/2019/01/build-image-classification-model-10-minutes/

60分钟入门PyTorch，官方教程手把手教你训练第一个深度学习模型

• https://mp.weixin.qq.com/s/m_THl55Xc4D_EFWFpj-1GA

基于 CNN 的验证码破解实战

• https://mp.weixin.qq.com/s/TqjSNo_PodiG7yD1JFVrtA
• https://yishuihancheng.blog.csdn.net/

从0到1，Airbnb的深度学习实践经验总结

• https://mp.weixin.qq.com/s/ZInnwb77CX4AobstMoL2Ow
• https://blog.acolyer.org/2019/10/09/applying-deep-learning-to-airbnb-search/

实时把画质变成 4k 高清，延时仅3毫秒，登上GitHub 趋势榜

• https://mp.weixin.qq.com/s/lCfCJtcut7wyMyMn7fV1og
• https://github.com/bloc97/Anime4K

图解抖音推荐算法

• https://mp.weixin.qq.com/s/EuQBuezHo5w7nBq0LQTsFg

Instagram个性化推荐工程中三个关键技术是什么？

• https://mp.weixin.qq.com/s/7sWorKUbBGOmbHZH33Rz9Q
• https://ai.facebook.com/blog/powered-by-ai-instagrams-explore-recommender-system